作者：禅与计算机程序设计艺术
1.简介随着深度学习在图像、自然语言处理等领域的广泛应用，其模型的规模也越来越大，训练所需要的时间也越来越长。为了加快训练速度，参数服务器（Parameter Server）模式被提出，将神经网络训练过程中的参数分配到多个计算机上，并通过统一的管理器进行调度和通信，从而减少了不同机器之间的通信开销，加快了训练过程。但是，由于参数服务器模式的数据集并行的方式，导致在训练时需要对不同batch的数据进行划分，因此需要对训练脚本进行改造，增加数据集并行的功能。本文详细介绍Facebook AI研究院所做的大规模参数服务器上神经网络训练优化相关的工作。随着深度学习在图像、自然语言处理等领域的广泛应用，其模型的
