总结一下SAE部分,整体来说十分简单,基本就是在NN基础上改了一点东西:
首先,原来的训练过程是一个监督过程,即最后计算loss的时候是有train_y与f(wx+b)的差值来进行判断,而深度学习本身自学习或非监督学习能力很强,这里就是采用的非监督学习,autoencoder就是要通过x训练一个网络最后输出还是x,即f(x)=x,在toolbox中,只是最简单的三层网络784-100-784,即hidden层有100的神经元,最后在hidden层基础上重构出x,这里的hidden层的部分作用相当于压缩数据维度,其效果和PCA很像。 首先,原来的训练
首先,原来的训练过程是一个监督过程,即最后计算loss的时候是有train_y与f(wx+b)的差值来进行判断,而深度学习本身自学习或非监督学习能力很强,这里就是采用的非监督学习,autoencoder就是要通过x训练一个网络最后输出还是x,即f(x)=x,在toolbox中,只是最简单的三层网络784-100-784,即hidden层有100的神经元,最后在hidden层基础上重构出x,这里的hidden层的部分作用相当于压缩数据维度,其效果和PCA很像。 首先,原来的训练