在word2vec之后又出现了很多词向量模型,其中一个非常流行的模型就是GloVe。GloVe的训练方式和主流的词向量不太一样。主流的词向量模型是像word2vec那样扫一遍语料,一个一个单词的进行训练。换句话说,每个单词和周围的上下文单词组成训练的样本,词向量在这个中心词,上下文单词的对(pair)上面进行训练(比如<eat, food>这样的pair上面进行训练)。但是GloVe不是在pair上面进行训练,而是需要先把pair进行汇总,得到共现矩阵,在这个共现矩阵上面进行训练。比如of,the这两个单词总共在语料中共现了100万次,那么GloVe会利用100万这个汇总的信息进行训练。在word2vec之后又出现了很多词向量模型,其中一个非常流行的模型就是GloVe。GloVe