关于网络爬虫定时开始爬取网页内容

问下各位大神，我现在把网络爬虫基本写完了可以爬下自己需要的东西插入数据库，也可以避免重复的了。 问下各位大神，我现在把网络爬虫基本写完了可以爬下自己需要的东西插入数据库，也可以避免重复的了。