随着网络层数的加深，会出现梯度弥散或者梯度爆炸：
梯度弥散就是指梯度在反向传播的过程中梯度越来越小，直至为0，导致网络参数不再更新。梯度爆炸就是指梯度在反向传播的过程中梯度越来越大，导致参数更新太快，无法训练。梯度弥散就是指梯度在反向传播的过程中梯度越来越小，
阅读背景：
激活函数简单理解
来源：互联网
分享到：
