WebMagic简介
webmagic是不需要配置，便捷数据挖掘的爬虫框架，其拥有简单且灵活的api。webmagic整体采用模块化架构，整个爬虫的生命周期：提取连接——>页面下载——>内容提取——>数据持久化，并且支持多线程挖掘，支持分布式挖掘，支持自动重试，自定义cookies，模块可定制化等功能。 webmagic是不需要配置，便捷数据挖掘的
阅读背景：
webmagic+selenium+tesseract-ocr实现米扑代理爬取
来源：互联网
分享到：
