文章目录
前言
一 优化器
二 超参数
参考
前言
一 优化器
机器学习的五个步骤： 数据 -> 模型 -> 损失 -> 优化器 -> 迭代训练。 我们通过前向传播的过程，得到了模型输出与真实标签的差异，我们称之为损失， 有了损失，我们会进入反向传播过程得到参数的梯度，那么接下来就是优化器干活了，优化器要根据我们的这个梯度去更新参数，使得损失不断的降低。 那么优化器是怎么做到的呢？ 该博主从三部分进行展开，首先是优化器的概念，然后是优化器的属性和方法，最后是常用的优化器。机器学习的五个步骤： 数据 -
