深度学习之循环神经网络RNN概述，双向LSTM实现字符识别
2. RNN概述
Recurrent Neural Network - 循环神经网络，最早出现在20世纪80年代，主要是用于时序数据的预测和分类。它的基本思想是：前向将上一个时刻的输出和本时刻的输入同时作为网络输入，得到本时刻的输出，然后不断地重复这个过程。后向通过BPTT(Back Propagation Through Time)算法来训练得到网络的权重。RNN比CNN更加彻底的是，CNN通过卷积运算共享权重从而减少计算量，而RNN从头到尾所有的权重都是公用的，不同的只是输入和上一时刻的输出。RNN的缺点在于长时依赖容易被遗忘，从而使得长时依赖序列的预测效果较差。Recu
