深度学习算法由于其数据量大、算法复杂度高等特点，常常需要采用某种形式的并行机制，常用的并行方法有数据并行（data parallel）和模型并行（model parallel）两种。尽管现有的深度学习框架大多都支持多GPU，但caffe、theano、tensorflow采用的都是数据并行，而亚马逊推出的DSSTNE（Deep Scalable Sparse Tensor Network Engine）也支持模型并行，感兴趣的读者可以阅读其Github源代码。这里我主要介绍的是tensorflow多GPU编程，尽管tensorflow官网已经给出了很详细的说明文档，但在我自己实现过程中也遇到了一些问题，在这里记录下来。 深度学习算法由于其数据量大、算法复杂度高等特点，常常需要采用某种形式的并行机制，
阅读背景：
TensorFlow多GPU并行的实现
来源：互联网
分享到：
