激活函数的性质
1. 非线性：即导数不是常数。保证多层网络不退化成单层线性网络。这也是激活函数的意义所在。即导数不是常数。保证多层网络不退化成单层
阅读背景：
激活函数的性质、表达式及其优劣：Sigmoid -> Tanh -> ReLU -> Leaky ReLU 、PReLU、RReLU 、ELUs-> Maxout
来源：互联网
分享到：
