运行流程：
URL管理器：
管理待抓取的URL集合和已抓取的URL集合：防止重复抓取、防止循环抓取。 管理待抓取的URL集合和已抓取的URL
阅读背景：
简单爬虫架构
来源：互联网
分享到：
