深度学习的激励函数

1.sigmoid函数：

S(x)=1/(1+exp(-x))

导数为：S(x)*(1-S(x))。这个数值不会超过0.25.。通过sigmoid函数计算的函数值在0~1之间，如果神经网络的层数很多，如果每一层的激励函数采用sigmoid函数，就会产生梯度弥散的问题。因为利用BP函数更新参数的时候，会乘以它的导数，所以会一直减小。并且在比较大或者比较小的时候，会产生饱和效应，导致神经元类似与死亡。导数为：S(x)*(1