使用同一个IP去爬取同一个网站上的网页，久了之后会被该网站服务器屏蔽。这个时候我们就可以使用代理服务器。 （使用代理服务器去爬取某个网站的内容的时候，在对方的网站上，显示的不是我们真实的IP地址，而是代理服务器的IP地址）。给大家推荐一个网址： 使用同一个IP去爬取同一个网站上的网页，久了之后会被该网站服务器屏蔽。这个时候
阅读背景：
爬虫笔记（四）——代理服务器的设置
来源：互联网
分享到：
