robots.txt在网站的根目录下
遵守
自动或人工识别robots.txt再进行内容爬取自动或人工识别robots.txt再进行内
阅读背景：
PYTHON网络爬虫与信息提取[网络爬虫协议](单元二)
来源：互联网
分享到：
