- 摘要
在本文中，我们提出了一个简单而通用的框架，用于训练非常微小的CNN（例如，通道数减少到1/32的VGG）用于目标检测。由于表示能力有限，为检测等复杂任务训练非常小的网络具有挑战性。据我们所知，我们称为Quantization Mimic的方法是第一个专注于非常小的网络的方法。我们使用两种类型的加速方法：模仿和量化。 Mimic通过从教师网络传输知识来提高学生网络的性能。量化将全精度网络转换为量化网络，而不会降低性能。如果教师网络被量化，则学生网络的搜索范围将更小。使用量化的这个特征，我们提出量化模拟。它首先量化大型网络，然后模拟量化的小型网络。量化操作可以帮助学生网络更好地匹配教师网络中的特征映射。为了评估我们的方法，我们在各种流行的CNN上进行实验，包括VGG和Resnet，以及不同的检测框架，包括更快的R-CNN和R-FCN。 Pascal VOC和WIDER FACE上的实验验证了我们的量化模拟算法可以应用于各种设置，并且在给定有限计算资源的情况下优于最先进的模型加速方法。 在本文中，我们提出了一个简单而通用的框架，用于训练非常微小的CNN（
