配置Nutch模拟浏览器以绕过反爬虫限制

当我们配置Nutch抓取 https://yangshangchuan.iteye.com 的时候，抓取的所有页面内容均为：您的访问请求被拒绝 ...... 这是最简单的反爬虫策略（该策略简单地读取HTTP请求头User-Agent的值来判断是人（浏览器）还是机器爬虫），我们只需要简单地配置Nutch来模拟浏览器（simulate web browser）就可以绕过这种限制。当我们配置Nutch抓取 https://yangshangchuan.iteye.com 的时候，