阅读背景:

【Golang】Golang语言初级爬虫实战

来源:互联网 
爬虫目标:游民*空网站内各类搞笑图集

爬虫思路:

找到网页连接,分析网页分页格式。比如https://www.gamersky.com/ent/202003/1268257.shtml,该图集具有30页,第二页的格式为https://www.gamersky.com/ent/202003/1268257_2.shtml,所以理论上知道了首页,剩下的用函数拼起来就行; 对每一个网页进行html内容爬取,存放为一个大字符串; 接着对整个html进行正则表达式匹配,比如该图集中全部为动态图,那么正则表达式的格式为 [a-zA-z]+://[^\s]*gif ; 将所有匹配结果进行去重操作,放到一个字符串数组中等待下载; 对数组中每一个链接进行http下载既可。 找到网页连接,分析网页分页格式。比如https:/


你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: