网络爬虫-爬取京东商品评价数据

        前段时间做商品评价的语义分析，需要大量的电商数据，于是乎就自己动手爬取京东的数据。第一次接触爬虫是使用selenium爬取CNKI的摘要，基于惯性思维的我仍然想用selenium+Firefox的方法爬取京东上的数据。代码就这样以selenium为框架写好了，但是效果一如既往的差，主要是耗时真的是太久了，即使是选择不加载图片等内容仍然有时效性的问题，所以我选择了scrapy爬取京东的电商数据。由于京东在页面展示的数据是后端分页，所以页面的URL不变而页面的内容随着一次次的请求而不断加载。如何获得动态网页的URL是本博客的重点，下面是如何获取京东网页URL的具体方法。希望借着这个例子让更多的人知道怎么获取动态页面URL。        前段时间做商品评价的语义分析，需要大量的电商数据，于是乎就自己动手爬取京东的数