阅读背景：

网络爬虫排除协议robots.txt介绍及写法详解.

来源：互联网 
User-agent: * 代表的所有的搜索引擎种类， Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录Disallow: /admin/ 这里定义

你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到：
你可能喜欢:
相关阅读:
随便看看: