Deep Learning（深度学习）之（五）神经网络训练中的高效BP（反向传播算法）

 人工神经网络的能力大家都是有目共睹的，在机器学习领域可是占据了一定的地位。这点应该毋庸置疑。它可以建模任意复杂的函数。虽然能力大了有时候也不是好事，因为容易过拟合。但能力小了，就没办法建模复杂的函数，也就是给你数据，你也消化不了。关于神经网络的介绍，这里就不说了，发展了那么久，介绍神经网络的书籍或者资料太多了。还记得我们要干嘛吗？我们想要知道训练神经网络的Tricks！众所周知（如果你不知道，就先不要往下看了），训练神经网络的方法就是经典的BP算法！理解BP算法的工作原理很重要，因为在实践过程中，你遇到的一些现象是可以通过分析BP算法的收敛性获得的。同时，BP算法也存在弱点和一些不好的特性，如何能对这些不好的特性退而避之对模型的成功就非常重要。 人工神经网络的能力大家都是有目共睹的，在机器学习领域可是占据了一定的地位。这点应该毋庸置疑。