对于从事爬虫的程序猿来说，反爬策略是必不可少的，其中添加请求头就是反爬的一种最为简单的策略。还有就是使用代理ip，说白了就是采集数据时采用不同的ip去访问你要采集数据的网址，可能很多人都会问为什么我需要用代理呢？不用不可以吗？用了代理之后发现爬虫抓取数据的速度反而下降了不少于是放弃爬虫代理的使用。当你抓取的数据达到一定量后，或者大批量采集时，你会发现程序会时不时给你报错，而且频率越来越来高。这说你的爬虫被人家识别出来了，对方的反扒系统已经记住了你。通常会告诉你连接超时、连接中断更有甚者不会直接中断你程序，它会给你一些假数据或者将你的爬虫带入一个死循环，还有许多诸如此类的反扒措施这里就不一一介绍了。对于从事爬虫的程序猿来说，反爬策略是必不可少的，其中添加请求头就是反爬的一种最为
阅读背景：
Python爬虫之代理问题_托马斯的博客
来源：互联网
分享到：
