阅读背景:

Compressing Convolutional Neural Networks in the Frequency Domain 论文笔记

来源:互联网 

摘要

卷积神经网络(CNN)越来越多地用于计算机视觉的许多领域。它们特别有吸引力,因为它们能够通过数百万个参数“吸收”大量标记数据。然而,随着模型尺寸的增加,分类器的存储和存储器需求也在增加,这阻碍了许多应用,例如移动电话和其他设备上的图像和语音识别。在本文中,我们提出了一种新颖的网络架构,频率敏感散列网(FreshNets),它利用了卷积层和深度学习模型的完全连接层的固有冗余,从而大大节省了内存和存储消耗。基于关键观察,学习的卷积滤波器的权重通常是平滑和低频的,我们首先使用离散余弦变换(DCT)将滤波器权重转换到频域,并使用低成本散列函数随机分组频率参数进入哈希桶。分配给相同散列桶的所有参数共享使用标准反向传播学习的单个值。为了进一步减小模型大小,我们将更少的散列桶分配给高频组件,这些组件通常不太重要。我们对八个数据集评估FreshNets,并表明它比几个相关基线带来更好的压缩性能。卷积神经网络(CNN)越来越多地用于计算机视觉的许多领域。它们特别有吸引力,因为它们




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: