Attention机制在深度学习推荐算法中的应用:AFM、 阿里DIN、阿里DIEN、阿里DSIN、阿里DSTM、ATRank
参考:
(1)attention机制介绍:
细讲 | Attention Is All You Need
一步步解析Attention is All You Need!
(2)AFM模型:
(3)AutoInt模型:
AutoInt:使用Multi-head Self-Attention进行自动特征学习的CTR模型
(4)
通常在CTR任务中我们对连续值特征的处理方式有三种:
1、进行归一化处理拼接到embedding向量侧
2、进行离散化处理作为类别特征
3、赋予其一个embedding向量,每次用特征值与embedding向量的乘积作为其最终表示