一般网站都会有robots.txt文件，在这个文件规定了允许网络爬虫访问的目录，也规定了禁止爬虫访问的目录。一般网站都会有robots.txt文件，在这个文件规定了允许网络爬虫访问的目录，也规定了禁止爬
阅读背景：
用python写网络爬虫 -从零开始 2 编写网站地图爬虫
来源：互联网
分享到：
