【技术博客】当蒸馏遇上GAN_Mo 的博客

什么是知识蒸馏

我们知道在深度学习的大部分网络中，有很多神经元是冗余的，所以很多网络的参数量是巨大的，但是在很多移动端，比如手机上，是跑不动这么大的网络的。所以知识蒸馏的一开始的目标是做模型压缩，它的目标就是让一个更小的网络去拟合甚至是超越教师网络的性能。在通常情况下，学生网络的在蒸馏阶段的目标可以用这样的一个函数来表示，这里的损失函数L根据算法对知识的定义不同也会有不同的函数表示。我们知道在深度学习的大部分网络中，有很多神经元是冗余的，所以