记忆网络之Hierarchical Memory Networks

这是Bengio团队在2017年发表在ICLR上面的论文“hierarchical Memory Networks”，这篇论文的主要思想是使用分层结构的Memory，目的是在维持准确度的基础上实现训练速度的提升。因为当需要的记忆量很大时，对所有的记忆进行Attention操作，必然会及其浪费时间，而通过本文提出的Hierarchical Memory结构，可以加速选择相关记忆的速度。总结一下本文贡献就是，提出一种新的memory数据结构（基于聚类），和一种新的搜索方法（MIPS）来适应该结构进行评分计算。但是这两个东西都是他们之前的论文“clustering is efficient approximate maximum inner product search”提出的，只不过是用到Memory Networks中来。所以可以理解为是在数据结构层面的改进，而不是模型架构，和前面的论文不太一样。下面我们来看一下：这是Bengio团队在2017年发