把setting中的机器人过滤设为False
ROBOTSTXT_OBEY = False False
阅读背景：
Spider-scrapy 中的 xpath 语法与调试
来源：互联网
分享到：
