无登录爬取糗事百科段子
第一步:获取页面源码
(1)先确定我们要爬取的页面的url,然后通过页面的开发者工具查看需要发送的headers信息。这里,糗事百科需要我们添加User-Agent这个头文件信息,不然建立连接会失败的。 (1)先确定我们要爬取的页面的url,然后通过页面的开发者
(1)先确定我们要爬取的页面的url,然后通过页面的开发者工具查看需要发送的headers信息。这里,糗事百科需要我们添加User-Agent这个头文件信息,不然建立连接会失败的。 (1)先确定我们要爬取的页面的url,然后通过页面的开发者