spark + ansj 对大数据量中文进行分词

    目前的分词器大部份都是单机服务器进行分词，或应用hadoop mapreduce对存储在hdfs中大批的数据文本进行分词。由于mapreduce的速度较慢，相对spark来讲代码书写较繁琐。本篇文章应用spark + ansj对存储在hdfs中的中文文本数据进行分词。     目前的分词器大部份都是单机服务器进行分词，或应用hadoop mapreduce对存储在h