- 摘要
对智能移动应用的需求飙升需要在移动设备上部署强大的深度神经网络（DNN）。然而，DNN的出色性能众所周知地依赖于越来越复杂的模型，而这反过来又与计算开销的增加相关，远远超过了移动设备的容量。更糟糕的是，应用服务提供商需要收集和利用包含敏感信息的大量用户数据来构建复杂的DNN模型。在公共移动设备上直接部署这些模型会带来过高的隐私风险。为了从没有容量和隐私问题的设备深度学习中受益，我们设计了一个私有模型压缩框架RONA。遵循知识蒸馏范式，我们联合使用提示学习，蒸馏学习和自学习来训练紧凑而快速的神经网络。从繁琐的模型中提取的知识被自适应地限制并且被小心地扰乱以实施差异隐私。我们进一步提出了一种优雅的查询样本选择方法，以减少查询次数并控制隐私丢失。一系列实证评估以及Android移动设备上的实施表明，RONA不仅可以有效地压缩繁琐的模型，还可以提供强大的隐私保障。例如，在SVHN上，当保证有意义的（9.83; 10对智能移动应用的需求飙升需要在移动设备上部署强大的深度神经网络（D
