阅读背景:

CV:image caption(A Hierarchical Approach for Generating Descriptive Image Paragraphs)

来源:互联网 

1、引言

本文的主要注意力在为图片用段落描述,该任务不同于用一句话描述图片。首先作者回顾了相关研究背景。用句子描述图片往往所含的信息有限,目前主要的方法为排序检索、模板套用、直接生成,第三种是目前的研究热点,且第三种方法又演变成一个dense caption的任务,也就是获取图片的多个重要区域,为每个区域用一句话描述,然后结合所有的句子,形成dense caption。这个也有缺点,就是句子之间不连贯。本文提出一种模型,利用物体识别将图片划分几个区域,同时利用层次RNN将段落划分为几个句子,形成对应关系,完成段落生成的任务。本文也说明了image caption和hierarchical RNN(层次RNN)的研究现状,其中层次RNN是另一种避免RNN中梯度消失和梯度爆炸的方法。本文的主要注意力在为图片用段落描述,该任务不同于用一句话描述图片。首先作者回顾了




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: