本文仅对一些常见的优化方法进行直观介绍和简单的比较，主要是一阶的梯度法，包括SGD, Momentum, Nesterov Momentum, AdaGrad, RMSProp, Adam。 其中SGD,Momentum,Nesterov Momentum是手动指定学习速率的,而后面的AdaGrad, RMSProp, Adam,就能够自动调节学习速率。本文仅对一些常见的优化方法进行直观介绍和简单的比较，主要是一阶的梯度法，包括SGD, Mome
阅读背景：
【TensorFlow】优化方法optimizer总结（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）解析（十三）
来源：互联网
分享到：
