论文 Decoupled Weight Decay Regularization 中提到，Adam 在使用时，L2 regularization 与 weight decay 并不等价，并提出了 AdamW，在神经网络需要正则项时，用 AdamW 替换 Adam+L2 会得到更好的性能。 中提到，Ada
阅读背景：
【tf.keras】AdamW: Adam with Weight decay
来源：互联网
分享到：
