如何比较两篇文章的大体内容是否一样?

     我的想法是统计两篇文章中出现较多的字和词,然后两篇文章作比较.但是如何知道两个字或者多个字是一个词?是否非要建一个词库?如果比较出现频率较高的字的话效果如何?大家有没有谁作过?或者还有什么更好的方法?请大虾多多指教.      我的想法是统计两篇文章中出现较多的字和词,然后两篇文章作比较.但是如何知道两个字或者