本次使用ImageNet数据集，ImageNet拥有1500万张标注过的高清图片，总共拥有22000类，其中约100万张标注了图片中主要物体的定位边框。
每年度的ILSVRC比赛数据集中大概拥有120万张图片以及1000类的标注，是ImageNet全部数据的一个子集。比赛一般采用top-5和top-1分类错误率作为模型性能的评测指标。
这次深度卷积网络为模型选择ALexNet，具体网络情况可以参考之前的博客，Alexnet包含了6亿3000万个连接，6000万个参数和65万个神经元，拥有5个卷积层，其中3个卷积层后面连接了最大池化层，最后还有3个全连接层。
AlexNet主要使用的新技术：
（1）成功使用ReLu作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。
（2）训练时使用Dropout随机忽略一部分神经元，以避免模型过拟合。
（3）在CNN中使用重叠的最大池化。
（4）提出了LRN层，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。
（5）使用CUDA加速深度卷积网络的训练，利用GPU强大的并行计算能力处理神经网络训练时大量的矩阵运算。
（6）数据增强。随机地从256x256的原始图像中截取224x224大小的区域（以及水平翻转的镜像）相当于增加了(256-224)^2x2=2048倍的数据量，防止陷入过拟合，提升了泛化能力进行预测时，则是取图片的四个角加中间共5个位置，并进行左右翻转，一共获得10张图片，对他们进行预测并对10此结果求均值。同时，AlexNet还提到了会对图像的RGB数据进行PCA主成分分析，并对主成分做一个标准差为0.1的高斯噪声扰动。
本次使用ImageNet数据集，ImageNet拥有1500万张标注过的高清图片，总共
阅读背景：
Tensorflow学习之实现卷积神经网络（三）
来源：互联网
分享到：
