预备知识

模型并行（ model parallelism ）：即把模型拆分放到不同的设备进行训练，分布式系统中的不同机器（GPU/CPU等）负责网络模型的不同部分 —— 例如，神经网络模型的不同网络层被分配到不同的机器，或者同一层内部的不同参数被分配到不同机器，如AlexNet的训练。（ model parallelism ）：即把模型拆分放到不同的设备