阅读背景:

详解nlp预训练词向量(下)——从GPT到BERT_咕噜咕噜_bert gpt

来源:互联网 

 

从Word Embedding到GPT

  • GPT是“Generative Pre-Training”的简称,从名字看其含义是指的生成式的预训练。GPT也采用两阶段过程,第一个阶段是利用语言模型进行预训练,第二阶段通过Fine-tuning的模式解决下游任务。 GPT是“Generative P



你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: