阅读背景:

Lucene中文切分原理及其他常见切分算法

来源:互联网 

1、 什么是中文分词

学过英文的都知道,英文是以单词为单位的,单词与单词之间以空格或者逗号句号隔开。而中文则以字为单位,字又组成词,字和词再组成句子。所以对于英文,我们可以简单以空格判断某个字符串是否为一个单词,比如I love China,love 和 China很容易被程序区分开来;但中文“我爱中国”就不 一样了,电脑不知道“中国”是一个词语还是“爱中”是一个词语。把中文的句子切分成有意义的词,就是中文分词,也称切词。我爱中国,分词的结果是:我 爱 中国。学过英文的都知道,英文是以单词为单位的,单词与单词之间以空格或者逗号句号隔开。而




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: