我们知道，在任何机器学习模型中，都会有一个代价函数的概念。当训练样本一定时，这个代价函数实际上是一个自变量为模型参数，因变量为代价大小的函数。那么我们训练一个机器学习模型的目的就是，通过改变模型参数，来最小化模型的代价。那么问题来了，以什么样的方式来改变模型参数？一个很直观的方法是令模型的参数在其梯度方向上改变（关于梯度与函数大小的关系大家可以参考高等数学相应章节）。所以切入点是要求每个参数的偏导数。
我们知道，在任何机器学习模型中，都会有一个代价函数的概念。当训练样本一定时，这个代价函
阅读背景：
我对BPNN的一些浅见
来源：互联网
分享到：
