目前来看，很多对 NN 的贡献（特别是核心的贡献），都在于NN的梯度流上，比如
- sigmoid会饱和，造成梯度消失。于是有了ReLU。s
阅读背景：
CNN trick 产生的motivation
来源：互联网
分享到：
