ctr预估
ctr中传统的FM,以神经网络的角度来看可以等效为下图:
对比FM公式来看,第一项为图中最左边常数,第二项为每个field的权重,第三项为每两个field的交叉项权重且该权重可分解为两个k阶向量,相当于各个field二阶interaction的embedding。但显然这个结构与通常意义上的神经网络还是不一致的,所以作者提出了FNN,使得模型可以像神经网络一样反向传播训练。
FNN底层是一层多multifield embedding,其权重由FM预训练得到的各部分权重初始化。
细节:采用交叉熵作为损失函数,embedding层加l2正则或dropout,三层hidden选择diamond型的size进行tuning
总结:
论文的核心其实就是embedding的初始化,剩下的部分就是一个基本的deep模型,通过成熟的FM分解算法初始化latent权重,总感觉有点杀牛用鸡刀的感觉;但从另一个角度考虑,大部分的神经网络模型对向量之间的处理都是采用加法操作,而FM 则是通过向量之间的乘法来衡量两者之间的关系,乘法关系其实相当于逻辑“且”的关系,但是加法仅相当于逻辑中“或”的关系,显然“且”比“或”更能严格区分目标变量。