如何提升爬虫的性能

一:背景知识

爬虫的本质就是一个socket客户端与服务端通信的过程,如果我们有多个url待爬取,只用一个线程并且采用串行的方式执行,那么只能等待爬取结束后才能继续下一个,效率非常的低爬虫的本质就是一个socket客户端与服务端通信的过程,如果我们有多个url待