如何自动识别爬虫网页的编码

  最近好朋友接到一项新任务，就是要爬取不同的数据源，并从中提取中重要信息。这项任务刚开始不久，就遇到了一个老大难问题，即部分网站的编码是无法确定的，这就导致无法对数据进行解析。也就谈不上后续的信息提取了。由于时间紧，任务重，在他的恳求之下，最终决定拿出自己的爬虫神技来助他一臂之力。  最近好朋友接到一项新任务，就是要爬取不同的数据源，并从中提取中重要