《Knowing When to Look: Adaptive Attention via A Visual Sentinel for Image Captioning》笔记

CVPR 2017

基于注意力的编码器-解码器架构的图像理解方法大多强制注意力机制对生成的每个单词都生效，但预测“the”、“a”这类非视觉词汇不需要太多的信息。《Knowing When to Look: Adaptive Attention via A Visual Sentinel for Image Captioning》文章中提出了一个带有“视觉哨兵”概念的新兴型自使用注意力模型。在每个时间步骤，模型决定关注图像本身还是视觉哨兵。基于注意力的编码器-解码器架构的图像理解方法