一、基于 Word2Vec 对预处理好的文本数据进行训练,得到词嵌入矩阵 E,Word2Vec 原理如下,以“I drink coffee everyday”为例:
step-1,输入输出 one-hot 编码,确定采样窗口大小等一系列参数
step-2,初始化嵌入层 E(隐层数 * 字典词数)
step-3,得到每个词的词向量 E * oi = ei,词向量加权平均得到 sita 向量
step-4,初始化 W 矩阵(字典词数 * sita行数),W * sita = u
step-5,softmax(u) = y_hat,Obj = cross_entropy,Opti = GD to E and W
二、将嵌入层套入 RNN 训练情感分类模型
LSTM 细节如下: