Momentum:解快了收敛速度，同时也减弱了SGD的波动
NAG: 减速了Momentum更新参数太快NAG: 减速了Momentum
阅读背景：
An overview of gradient descent optimization algorithms (更新到Adam...
来源：互联网
分享到：
