前言
最近做了不少有关SEO的相关工作,以前是自己写爬虫去抓取其他网页,现在写网页让爬虫去抓,感觉这种角色调换还是挺奇妙的。经过这段时间的工作发现我写爬虫的为了获取特定信息,但是搜索引擎爬虫是为了获取互联网上的信息,这种目标性的不一样导致其数据抓取的机制和权重设定上有着完全不一样的设定。 最近做了不少有关SEO的相关工作,以前是自己写爬虫去抓
前言
最近做了不少有关SEO的相关工作,以前是自己写爬虫去抓取其他网页,现在写网页让爬虫去抓,感觉这种角色调换还是挺奇妙的。经过这段时间的工作发现我写爬虫的为了获取特定信息,但是搜索引擎爬虫是为了获取互联网上的信息,这种目标性的不一样导致其数据抓取的机制和权重设定上有着完全不一样的设定。 最近做了不少有关SEO的相关工作,以前是自己写爬虫去抓