很久没有写博客了，很多东西都用为知笔记下来了，一直想写spark、hadoop和机器学习方面的。。。一直没写，还是回归正题吧，同事推荐了一篇论文，基于新词发现的论文的，原文地址，https://www.matrix67.com/blog/archives/5044 ，公司刚刚好友这方面的需求，用了一个礼拜多礼拜的代码来写代码、测试、优化，今天总算能处理所谓的大数据了，几十g的文本不在话下，在spark上面实现，下面给出代码看看吧，欢迎各位高手指正，估计还有一些性能方面可以提升,转载的请注明。很久没有写博客了，很多东西都用为知笔记下来了，一直想写spark、hadoop和机器学习方面的
阅读背景：
基于spark的新词发现模型
来源：互联网
分享到：
