先说结论，关闭scrapy自带的ROBOTSTXT_OBEY功能，在setting找到这个变量，设置为False即可解决。 先说结论，关闭scrapy自带的ROBOTSTXT_OBEY功能，在setting找到这个变量
阅读背景：
scrapy爬虫出现Forbidden by robots.txt
来源：互联网
分享到：
