推荐系统基础知识概览图
在进行推荐系统构建时,我们主要分为四大步:1.基于数据源获取数据 2.对数据进行预处理操作 3.通过相关模型对数据进行分析 4.对分析过后的结果进行转化解释
RS预处理经常用到的方法介绍
相似度度量方式
相似度度量方式其实就是我们经常说到的距离公式,如欧式距离,皮尔逊距离等。在使用聚类算法、回归算法和分类算法中会经常用到,如KNN,KMeans模型。下面将介绍比较经常使用的距离公式(又称相似度度量方式):
The Minkowski Distance
x,y 分别为不同的数据记录,形式为一个向量。k代表向量中的第几个特征,n为向量总特征的总数,r代表我们要使用用来计算距离的维度。当r=1时,distance为L1或被称为Manhattan Distance;当r=2时,distance为L2或被称为Euclidean Distance;以此类推,当r=n时,及Ln。
在使用该距离方法时,往往会因为不同特征的不同区间而导致两个特征的距离衡量不合理,因此在使用该距离方法时,会先将数据进行标准化,使维度变为尺度无关的。但某两个维度可能在高维度中存在线性相关的关系。
The Mahalanobis distance(马氏距离)
马氏距离就是考虑到了在高维度中可能存在线性相关的关系问题。马氏距离会将坐标轴进行拉伸,从而使各个特征都线性无关,再进行归一化。我们也可以理解为先对数据进行主成分分析,然后再对数据进行归一化操作。
Cosine Similarity
余弦相似度也就是通过计算x和y向量的夹角。两个向量夹角越大说明相似性越低,反之夹角越小相似度越高。余弦相似度公式最重要的地方是在分子部分的点乘运算,分母相当于对向量进行了归一化操作,不过计算余弦相似度最好先进行零均值化,效果往往会更出色。
Pearson Correlation
Given the covariance of data points x and y Σ, and their standard deviation σ
皮尔森相关系数描述的是两条记录的线性相关性。若值大于0,则正相关;小于0,负相关;等于零,无线性相关性;等于1或-1,说明落在直线上。其取值范围在[-1, 1]之间
References
1.Recommender Systems Handbook p39-p48