概述 CNN文本分类，是将CNN处理图像的思路移植到文本问题上。具体的理论可以阅读‘Convolutional Neural Network f...

Transformer结构是谷歌那篇 论文中提到的。论文中提出了transformer这么一种新的结构，将其应用在机器翻译的领域上，取得了很好的...

Encoder-Decoder中的attention机制 上一篇文章最后，在Encoder-Decoder框架中，输入信息的全部信息被保存在了C...

对于《Attention is all you need》这篇文章中提到的transformer模型，自己最初阅读的时候并不是很理解，于是决定从...

Batch Normalization 是近两年兴起的深度学习中的一种处理技巧。使用BN可以使模型收敛更快，加速训练。同时降低了网络对于参数的敏...

概述 Dropout，是指在神经网络中，随机失活部分隐层的神经元。是深度学习中一种针对过拟合的解决方法。 流程 2 通过子网络（临时删除隐层神经...