从上一节可以看到，分词效果虽然不错，但是结果中仍有很多标点符号，也有一些词，比如说：应该、如果、所有等词这些词并不能代表文章的主题，我们不应把它们做为文本的特征项之一，而文本所有特征项组织一个向量，通过余弦相似度对文本类似性进行检测，所以要保证每个特征项有它的作用，这些无用的词称为停用词，我们建立一个停用词表文件，将里面所有的停用词读取后做为下一步对文本分词结果进行清理的依据从上一节可以看到，分词效果虽然不错，但是结果中仍有很多标点符号，也有一些词，比如说：应该、如果
阅读背景：
数学之路(3)-机器学习(3)-机器学习算法-余弦相似度(2)
来源：互联网
分享到：
