1      nutch基本爬取流程

         nutch是大名鼎鼎的Doug Cutting发起的爬虫项目，nutch孵化了现在大数据处理事实上的标准Hadoop。在nutch V 0.8.0 版本之前，Hadoop是nutch的一部分，从nutch V0.8.0开始，HDFS和MapReduce从nutch中剥离出成为Hadoop。v0.8.0之后，nutch就完全构建在Hadoop的基础之上了。         nutch是大名鼎鼎的