Google在2015年发表论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》。随后BN的作用被证实,大量的神经网络都会采用在激活层前面加入BN层。起初我认为BN层只是一个简单的数据预处理,随着研究的深入,我发现其背后的原理值得深思。Google在2015年发表论文《Batch Normalization: Acc
Google在2015年发表论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》。随后BN的作用被证实,大量的神经网络都会采用在激活层前面加入BN层。起初我认为BN层只是一个简单的数据预处理,随着研究的深入,我发现其背后的原理值得深思。Google在2015年发表论文《Batch Normalization: Acc