词语是自然语言处理中重要的知识载体和基本操作单元， 但是中文里词与词之间没有很明显的标记，它们都是连续的字符串，所以文本处理的第一步是怎样进行中文分词。分词是添加合适的显性的词语边界标志使得所形成的词串反映句子的本意的过程。分词主要有基于字符串匹配的方法、基于规则的方法和基于统计的方法，本文主要通过python实现基于字符串匹配的方法也称为机械分词中的两类方法：正向最大匹配算法和逆向最大匹配算法，有实验表明逆向最大匹配算法比正向最大匹配算法更有效。 词语是自然语言处理中重要的知识载体和基本操作单元， 但是中文里词与词之间没有很
阅读背景：
python 实现机械分词（1）-正向最大匹配算法
来源：互联网
分享到：
