作者以及单位
Chang Liu1, Xiaoguang Li et al. 香港大学
论文下载地址：https://www.aaai.org/AAAI21Papers/AAAI-5262.LiuC.pdf
核心：non-invasive特征融合，目的控制信息源的纯净性，不受其他影响。
解决问题
解决如何更好的把side information引入到推荐系统中的问题，文章的模型命名为NOVE，最终提高推荐准度。
以下是“加了side information”和“没加side information”的效果对比图（明显加了好）：
以下解释了什么side info，准确的说，不属于显式数据都属于side的范畴。
研究动机
之前我做过基于side information提高推荐模型准度的。但是之前工作是基于“可解释的”传统模型。而这篇是基于self-attention的修改，它是基于BERT的修改，机制更合理一些。
文章反复提到一个词“invasive”和“non-invasive”，所以，本文motivation重点是设计：“非攻击性non-invasive的特征融合”。哪问题来了？到底非攻击性non-invasive提高了以往攻击性invasive的什么缺点？。
看下图：
答案：攻击性invasive方法有复杂嵌入空间的缺点，因为商品ID不可逆地与其他side information融合。混合来自id的信息和其他side information可能会使模型难以解码商品ID。而non-invasive自注意（NOVA），在利用side信息对序列进行更有效建模的同时，保持嵌入空间的一致性。具体的说：non-invasive会控制自已组件的信息源纯净，即提高Q、K和V工作效率！
研究方法
看起来似乎文章和以前的文章相比只是多一个side information，如下图（以前是用bert，现在是用self-attention）。但是实际区别在于：
如果希望将side info加入到到sequence model中，最终得到的依然是基于item的兴趣序列表示，所以如果用这个融合的兴趣序列表示作为输入，可能会导致side info对item的兴趣序列的建模带来噪声（不排除这样的可能）。
对于non-invasive，则是根据“每个”item的融合的兴趣序列对于“其他”item融合的兴趣序列的相关性（attention），进行加权处理了，这样没有污染item的兴趣序列表示，同时考虑了side info带来的受益。
既然我们已经知道本篇文章其实说的故事核心是“控制信息源”，下面在用公式说说NOVA-BERT（我先以为BERT是特别的一个模型，其实是一种算法思路。）看看是具体怎么做控制信息源的：
先说通用做法：1.将高维、稀疏特征embedding之后的多个低维向量；2.多个低维向量要“合并”Pooling成一个向量（这里用attention），作为用户兴趣的表示。3.向量投喂（多个）全连接MLPs。
BERT框架
结合通用做法，第一步Embedding利用融合函数F将side information采取Invasive方式做向量融合（E_uj是用户u的第j个交互的集成embedding，西格玛是embedding层）：
之后第二步，输入BERT框架使用self-attention机制（没有做改造）逐层更新表示层：
也就是说，此处的BERT仅仅是将位置信息作为了side信息，并且使用addition作为fusion函数。
NOVA-BERT框架
之前提过NOVA的核心修改自我注意机制，仔细控制自已组件的信息源，即Q、K和V。
结合通用做法，第一步Embedding就改了（图2），NOVA，用户的历史由两个表示集合表示，纯ID embedding（V）以及集成的side information作为embedding（K,Q）。
第二步，其实Selfattetnion Layer我们可以看到上下两个图，没有太大的区别（等式右边）。但是~等式的左边的，NOVE的两套输入，让QKV显得更纯净了（还是看图2），是分别做了加权处理。
创新点
1.NOVA和invasive方法在使用side信息下的不同在于，NOVA将其作为一个辅助的并通过fusion函数将side information作为Keys和Querys输入。NOVA-BERT遵循原始的BERT框架，除了将下面的NOVA-BERT层替换为NOVA层之外，其他都一样。
2.此处，还定义concatfusion, 来将所有的side信息进行fusion（其中, F是所有特征的矩阵形式,Wf是可训练参数），后面会接一个全链接层。从后面结果看concat效果是最好的
结论
1.NOVA-BERT的效果比其它的都要好（我没有搞懂为什么ml的ndcg只有百分之十几？我看一般结果都是百分之五六十？）。
2.invasive式方法+多种side信息，但改进非常有限甚至没有正向效果。相反，NOVA-BERT方法能有效地利用side信息，性能稳定，优于其他方法。
3.NOVA-BERT的鲁棒性是非常好的；不管我们使用什么fusion函数，Nova-Bert的效果一直比baseline模型要好。
值得注意：密度越大数据集，模型提升的幅度会下降；也许是，在语料库更为丰富的情况下，这些模型甚至可以从商品的上下文中学习到足够好的商品embedding，从而为辅助信息的补充留下更小的空间。
参考：
BERT 在推荐系统领域可能会有什么作为？(https://www.zhihu.com/question/308362332)
DSIN（Deep Session Interest Network ）分享 - 知乎 (zhihu.com)
最强的Attention函数诞生啦，带给你意想不到的巨大提升！ - 知乎 (zhihu.com)
又一Attention函数诞生啦，带给你意想不到的巨大提升！ - 知乎 (zhihu.com)
