1.随机休眠
在爬虫的工作过程中，自然是爬得越快越好，但是如果你的目标网站有比较完善的防爬系统，而你却只有一个对外IP地址。那么在这个时候你就应该考虑到随机休眠，而不是定时休眠。当一个真实用户在浏览某个网站的过程中，发生的每一次操作、页面跳转应该都是无时间规则的。所以我们在爬虫中应该模拟真实用户的这一特征在爬虫的工作过程中，自然是爬得越快越好，但是如果你的目标网站
阅读背景：
爬虫优化
来源：互联网
分享到：
