前言:
最近一直在思考,如果我使用SCSAE(即stacked convolution sparse autoendoer)算法来训练一个的deep model的话,其网络的第二层开始后续所有网络层的训练数据从哪里来呢?其实如果在这个问题中,当我们的样本大小(指提供的最原始数据,比如大的图片集)和我们所训练第一个网络的输入维度是一样的话,那么第二层网络的输入即第一层网络的输出(后续的网络依次类推),但是这种情况下根本就不会涉及到convolution(一般有convolution的地方也会有pooling),所以不属于我想要讨论的SCSAE框架。后面根据自己对deep learning的理解(刚接触DL不到2个月,菜鸟一个)认为第二层网络的输入需要将原始的训练样本集通过covolution的方法经过第一层网络(已训练好了的网络)的输出采样(如果输出的特征图尺寸比第二层网络的输入尺寸大的话,就需要通过随机采样方法了)得到。 最近一直在思考,如果我使用SCSAE(即stacked convo