阅读背景:

python爬虫之scrapy模拟登录

来源:互联网 

背景:

  初来乍到的pythoner,刚开始的时候觉得所有的网站无非就是分析HTML、json数据,但是忽略了很多的一个问题,有很多的网站为了反爬虫,除了需要高可用代理IP地址池外,还需要登录。例如知乎,很多信息都是需要登录以后才能爬取,但是频繁登录后就会出现验证码(有些网站直接就让你输入验证码),这就坑了,毕竟运维同学很辛苦,该反的还得反,那我们怎么办呢?这不说验证码的事儿,你可以自己手动输入验证,或者直接用云打码平台,这里我们介绍一个scrapy的登录用法。  初来乍到的pythoner,刚开始的时候觉得所有的网站无非就是分析HTML、j




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: