最常规的防止网页被搜索引擎收录的方法是使用robots.txt，但是这样做的弊端是要将所有已知的搜索引的爬虫信息都罗列进去，难免有疏漏。下面的这些方法是可以标本兼治的：(摘编自https://www.javaeye.com/problems/18438)最常规的防止网页被搜索引擎收录的方法是使用robots.txt，但是这样做的弊端是要将所有已知的搜索
阅读背景：
防止网页被搜索引擎爬虫和网页采集器收录的方法汇总
来源：互联网
分享到：
