冒泡!小李又上线啦~周末愉快呀
今天主要是对RNN循环神经网络的一个概述。
RNN循环神经网络
定义
RNN（Recurrent Neural Network）循环神经网络是一类用于处理序列数据的神经网络。那么这边涉及到一个关键词，即序列数据。做个解释，序列数据是在不同的时间点里采集的数据，因为是不同时间点故会反映相对应的的事物或者现象跟随时间的变化状态或者程度。举个例子，比如音频数据等等。总而言之，序列数据的最大特点就是，后面的数据要与前面的数据有相关联。（划重点!）
模型
RNN循环神经网络是基于"人的认知是基于过往的经验和记忆"这一观点提出的，它与CNN不同的是: 它不仅会考虑前一时刻的输入,而且赋予了网络对前面的内容的一种'记忆'功能。接下来就通过RNN的模型来解释一下这个记忆功能的实现。模型图如下：
通过图片可以看到，RNN模型分为三大部分：input layer(输入层)、hidden layer（隐藏层）、output layer(输出层)。比较特别的是，在中间的隐藏层，有个箭头，这个箭头表示数据的循环更新，也就是记忆的功能实现。因而从模型上可以看出，网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。Hidden Layer的具体详解
如上图所示的Hidden Layer的层级展开图， t-1, t, t+1表示时间序列。 X表示输入的样本.。St表示样本在时间t处的的记忆,St = f(WSt-1 +UXt)。 W表示输入的权重，U表示此刻输入的样本的权重，V表示输出的样本权重。在t =1时刻, 一般初始化输入S0=0, 随机初始化W,U,V。进行下面的公式计算（ 其中,f和g均为激活函数。 其中f可以是tanh,relu,sigmoid等激活函数，g通常是softmax也可以是其他，注意这里的权重是共享的）:
那么以此类推，下一个时刻与最终时刻的计算如下：通过这些公式做一些总结：我们可以这样理解，比如我们在处理一个文本，t取5，那么可以理解为一句话有五个词，它们依次输入RNN网络中，那么就可以理解为把一个神经元拉为5个，S就是我们说的记忆，它把五个词语都记录下了，最后的输出就是基于S的。. 所以，隐藏状态可以理解为:S=f(现有的输入+过去记忆总结)。这边对于hidden layer主要是前向传播的分析，反向传播我们更新的是相同的参数。具体可以参考深度学习之RNN循环神经网络（理论+图解+Python代码部分
RNN种类
通过图片做一个详解：RNN的特点与应用
特点：
除了刚刚所说的循环更新以及隐藏层的特性外，由于RNN特有的memory会造成梯度时大时小，learning rate没法个性化的调整，导致RNN在train的过程中，Loss是波荡起伏。应用
① 自然语言处理(NLP): 主要有视频处理, 文本生成, 语言模型, 图像处理 ② 机器翻译, 机器写小 ③ 语音识别④ 图像描述生成 ⑤ 文本相似度计算 ⑥ 音乐推荐、网易考拉商品推荐、Youtube视频推荐等新的应用领域。
最后附上用keras建立RNN模型的部分代码(完整的代码移步至上文第一个链接)
#####建立模型
from keras.models import Sequential
from keras.layers.core import Dense, Dropout, Activation
from keras.layers.embeddings import Embedding
from keras.layers.recurrent import SimpleRNN
model = Sequential()
model.add(Embedding(output_dim=32,
input_dim=3800,
input_length=380))
model.add(Dropout(0.35))
model.add(SimpleRNN(units=16))
model.add(Dense(units=256,activation='relu' ))
model.add(Dropout(0.35))
model.add(Dense(units=1,activation='sigmoid' ))
model.summary()
#####训练模型
model.compile(loss='binary_crossentropy',
optimizer='adam',
metrics=['accuracy'])
train_history =model.fit(x_train, y_train,batch_size=100,
epochs=10,verbose=2,
validation_split=0.2)
今日份资料参考
深度学习之RNN(循环神经网络)
小李的今日输出结束！下次再会！~
