阅读背景:

.net core + headless chrome实现动态网页爬虫

来源:互联网 

一般的http请求库只能够抓取到网页的静态内容,如果想抓取通过js动态生成的内容可以使用没有gui的browser库,之前许多人会使用phantomjs作为headless browser,不过现在phantomjs团队已经宣布停止更新工作,需要一款替代库,于是这里就采用了headless chrome来进行动态网页内容抓取。一般的http请求库只能够抓取到网页的静态内容,如果想抓取通过js动态生成的内容可以使用没有g




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: