WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件，并由Spider将它们彼此组织起来。这四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能。在这四个组件中我们需要做的就是在PageProcessor中写自己的业务逻辑，比如如何解析当前页面，抽取有用信息，以及发现新的链接。 WebMagic的结构分为Downloader、PageProcessor、Schedule
阅读背景：
好用的java爬虫框架webmagic爬取CSDN
来源：互联网
分享到：
