阅读背景:

【动手深度学习-笔记】注意力机制(三)多头注意力

来源:互联网 

紧接上回:【动手深度学习-笔记】注意力机制(二)注意力评分函数

在实践中,我们希望模型可以基于相同的注意力机制学习到不同的行为,抽取不同的信息(比如长距离依赖关系和短距离依赖关系),再将这些信息组合起来。在实践中,我们希望模型可以基于相同的注




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: