关于网络爬虫的设计问题？请高手们给点建议

这是我个人对网络爬虫的设计思想,希望高手们能够提供建议！！！

1.首先我设置一些网站入口，或者采用IP分段采集(不知道高手们一般都采用哪个方法) 1.首先我设置一些网