word2vec并行实现小记

word2vec能将文本中出现的词向量化，其原理建立在Mikolov的博士论文成果及其在谷歌的研究经验的基础上。与潜在语义分析（Latent Semantic Index, LSI）、潜在狄立克雷分配（Latent Dirichlet Allocation）的经典过程相比，word2vec利用了词的上下文，语义信息更加地丰富。word2vec并不是Mikolov某一天拍拍脑袋就给想出来的，也是站在牛人的肩膀上。大牛Bengio(NIPS 2001)借着深度学习的东风提出了一种可并行的神经网络模型；Morin(2005)为了加快神经网络语言模型（Neural Network Language Model，NNLM）的概率输出Softmax的计算，提出了Hierarchical Softmax；Mikolov同学慢慢地注意到神经网络在语言模型中的作用，早年的论文多在语音领域，其博士论文总结并优化了循环神经网络（Recurrent Neural Network），之后到了谷歌做研究，才总算提出了word2vec。这一段历史可进一步查看word2vec能将文本中出现的词向量化，其原理建立在Mikolov的博士论文成果及其在