深度学习中的优化调参细节总结。
深度学习中的技巧：
- 初始化参数尽量小一些，这样 softmax 的回归输出更加接近均匀分布，使得刚开始网络并不确信数据属于哪一类；另一方面从数值优化上看我们希望我们的参数具有一致的方差（一致的数量级），这样我们的梯度下降法下降也会更快。同时为了使每一层的激励值保持一定的方差，我们在初始化参数（不包括偏置项）的方差可以与输入神经元的平方根成反比初始
阅读背景：
深度学习（deep learning）优化调参细节（trick）
来源：互联网
分享到：
