推荐系统算法概览和数据预处理方式

推荐系统基础知识概览图

RS知识概览图

在进行推荐系统构建时,我们主要分为四大步:1.基于数据源获取数据 2.对数据进行预处理操作 3.通过相关模型对数据进行分析 4.对分析过后的结果进行转化解释

RS预处理经常用到的方法介绍

相似度度量方式

相似度度量方式其实就是我们经常说到的距离公式,如欧式距离,皮尔逊距离等。在使用聚类算法、回归算法和分类算法中会经常用到,如KNN,KMeans模型。下面将介绍比较经常使用的距离公式(又称相似度度量方式):

The Minkowski Distance

The Minkowski Distance

x,y 分别为不同的数据记录,形式为一个向量。k代表向量中的第几个特征,n为向量总特征的总数,r代表我们要使用用来计算距离的维度。当r=1时,distance为L1或被称为Manhattan Distance;当r=2时,distance为L2或被称为Euclidean Distance;以此类推,当r=n时,及Ln。

在使用该距离方法时,往往会因为不同特征的不同区间而导致两个特征的距离衡量不合理,因此在使用该距离方法时,会先将数据进行标准化,使维度变为尺度无关的。但某两个维度可能在高维度中存在线性相关的关系。

The Mahalanobis distance(马氏距离)

The Mahalanobis distance


公式字符解释

马氏距离就是考虑到了在高维度中可能存在线性相关的关系问题。马氏距离会将坐标轴进行拉伸,从而使各个特征都线性无关,再进行归一化。我们也可以理解为先对数据进行主成分分析,然后再对数据进行归一化操作。

Cosine Similarity

Cosine Similarity

余弦相似度也就是通过计算x和y向量的夹角。两个向量夹角越大说明相似性越低,反之夹角越小相似度越高。余弦相似度公式最重要的地方是在分子部分的点乘运算,分母相当于对向量进行了归一化操作,不过计算余弦相似度最好先进行零均值化,效果往往会更出色。

Pearson Correlation 

Pearson Correlation

Given the covariance of data points x and y Σ, and their standard deviation σ

皮尔森相关系数描述的是两条记录的线性相关性。若值大于0,则正相关;小于0,负相关;等于零,无线性相关性;等于1或-1,说明落在直线上。其取值范围在[-1, 1]之间

References

1.Recommender Systems Handbook p39-p48

2.https://www.cnblogs.com/DPL-Doreen/p/8183909.html

3.https://blog.csdn.net/chao2016/article/details/80917579

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 201,681评论 5 474
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,710评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 148,623评论 0 334
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,202评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,232评论 5 363
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,368评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,795评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,461评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,647评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,476评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,525评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,226评论 3 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,785评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,857评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,090评论 1 258
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,647评论 2 348
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,215评论 2 341

推荐阅读更多精彩内容