在USER_AGENT中，有相应的字符串可以判断是否是搜索引擎机器人来查找你公司的网站：
阅读背景：
如何判断搜索引擎机器人（蜘蛛）有没有爬行你的站点?
来源：互联网
分享到：
