起因: 同事让我帮他抓取一批URL，并获取对应URL的标签中的文字，忽略对应URL网站的封禁问题，这个任务并不是一个特别麻烦的事情。然后实际跑起来，却发现流量打的很高，超过10Mb/s。起因: 同事让我帮他抓取一批URL，并获取对应URL的标签中的文字，忽略对应URL网站的封禁问题，这
阅读背景：
requests 库的另类用法（stream）
来源：互联网
分享到：
