阅读背景:

tensorflow训练中出现nan问题

来源:互联网 

        深度学习中对于网络的训练是参数更新的过程,需要注意一种情况就是输入数据未做归一化时,如果前向传播结果已经是[0,0,0,1,0,0,0,0]这种形式,而真实结果是[1,0,0,0,0,0,0,0,0],此时由于得出的结论不惧有概率性,而是错误的估计值,此时反向传播会使得权重和偏置值变的无穷大,导致数据溢出,也就出现了nan的问题。        深度学习中对于网络的训练是参数更新的过程,需要注意一种情况就是输入数据未做归一




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: