Linux企业级项目实践之网络爬虫（3）——设计自己的网络爬虫

网络抓取系统分为核心和扩展组件两部分。核心部分是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。目标是尽量的模块化，并体现爬虫的功能特点。这部分提供简单、灵活的API，在基本不改变开发模式的情况下，编写一个爬虫。网络抓取系统分为核心和扩展组件两部分。核心部分是一个精简的、模块化的爬虫实现，而扩展部分