爬虫思路:
找到网页连接,分析网页分页格式。比如https://www.gamersky.com/ent/202003/1268257.shtml,该图集具有30页,第二页的格式为https://www.gamersky.com/ent/202003/1268257_2.shtml,所以理论上知道了首页,剩下的用函数拼起来就行; 对每一个网页进行html内容爬取,存放为一个大字符串; 接着对整个html进行正则表达式匹配,比如该图集中全部为动态图,那么正则表达式的格式为 [a-zA-z]+://[^\s]*gif ; 将所有匹配结果进行去重操作,放到一个字符串数组中等待下载; 对数组中每一个链接进行http下载既可。 找到网页连接,分析网页分页格式。比如https:/