在上一篇博客中我提到,我在使用多线程+协程爬虫抓取数据的时候,当我的协程数×线程数非常大的时候,会提示[Error 24: too many open files]和其他一系列错误。这篇博客就是专门针对这个问题的解决方案,亲测可行。中我提到,我在使用多线程+协程爬虫抓取数据的时候,当我的协程数×线程数非常大的时候
在上一篇博客中我提到,我在使用多线程+协程爬虫抓取数据的时候,当我的协程数×线程数非常大的时候,会提示[Error 24: too many open files]和其他一系列错误。这篇博客就是专门针对这个问题的解决方案,亲测可行。中我提到,我在使用多线程+协程爬虫抓取数据的时候,当我的协程数×线程数非常大的时候