阅读背景:

多层注意力模型:Hierarchical Attention Networks for Document Classification

来源:互联网 

1、简介

文本分类问题一直是自然语言处理(NLP)中一个广受人们关注的问题。可能好多刚接触深度学习做NLP的项目就是使用循环神经网络(RNN)对IMDB影评进行分类。但使用循环神经网络时一般会遇到一个问题,那就是当所要处理的序列较长时,就会导致网络容易忘记之前的东西,这在机器翻译、对话系统中会经常出现,为解决这一问题,大佬们就根据心理学原理提出了“注意力”机制,使得网络工作过程中可以像人一样将注意力放在不同部位。那么对于文本分类能否使用“注意力”机制呢?答案是肯定的,文本分类问题一直是自然语言处理(NLP)中一个广受人们关注的问题。可能好多刚接触




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: