什么是robots.txt？
robots.txt是一个纯文本文件，是爬虫抓取网站的时候要查看的第一个文件，一般位于网站的根目录下。robots.txt文件定义了爬虫在爬取该网站时存在的限制，哪些部分爬虫可以爬取，哪些不可以爬取（防君子不防小人）robots.txt是一个纯文本文件，是爬虫抓取网站的时候要
阅读背景：
网站的robots.txt文件
来源：互联网
分享到：
