4.多层神经网络优化的一些技巧
在多层神经网络的实战中，很多参数看上去都是由设计人员直观的判断而得到的，例如网络的层数以及各个结点的数量。而诸如权值的初始化，下降梯度的选择，看似不论选择什么样的数值，总会迎来收敛（其区别仅在于收敛速度的快慢）。其实不然，多层神经网络由于其网络的复杂性，其问题往往会变成一个非凸的高维优化问题，这样，在构建高层神经网络的时候就必须注意到收敛速度以及最优解是否会出现的问题。 在多层神经网络的实战中，很多参数看上去都是由设计
阅读背景：
基于Theano的多层神经网络及其实现(二)
来源：互联网
分享到：
