一个菜鸟的自我修养

'''set hive.cli.print.header=``true``; set hive.``fetch``.task.conversion=more; --打印列名 ...

一个菜鸟的自我修养

@Saint1_e708 没事没事，交流交流才能进步，写了好久了，刚好自己也复习一下

FM模型的一些理解的实操

原文：https://www.csie.ntu.edu.tw/~b97053/paper/Rendle2010FM.pdf  本文仅仅只是对文章的一些个人理解。本章先回顾一下...

一个菜鸟的自我修养

2094 6 1

一个菜鸟的自我修养

@Saint1_e708 这个里面只是简单的一个demo。针对你说的问题，我自己说一下我的理解吧，也可能不太对。
1）其实你想问的关于one-hot和label encoding 的区别。one-hot确实会维度爆炸，以性别为例，如果做label encoding，特征只有一列性别，取值（0男，1女,-1未识别，2家庭等）；但是one-hot 特征就会变成多列，比如第一列就代表是否为男性，取值仅有是男或者不是男。这两者在树类模型中有差别，比如在label encoding下，选取性别作为分裂点，我们知道树类模型都是y<threshod 在左分支那种方式，但是实际上0,1,-1等值是无序的，threshod =0时，将-1放左分支，0和1放右分支是存在一定问题的。但是one-hot就不一定了，当选取是否男性那列的时候，左分支表示男性，右分支就表示不是男性了，但是具体是女性，还是未识别还是家庭呢？我们就不管了。
2）这篇文章里只是简单的demo，关于特征处理未做太多说明，确实连续特征有提前分桶处理的模型，比如简单的树模型，但是像xgb等模型做特征分裂的时候，对于连续型特征就有类似的机制。当然回到FM模型，我觉得可以不用做，这个我的理解额，就类比LR模型里，我们并不会对连续型特征做处理，因为它是内部是线性运算，wx没有什么问题，反而对于离散值，要做处理，因为要保证x=1和x=-1的距离是一致的。

FM模型的一些理解的实操

原文：https://www.csie.ntu.edu.tw/~b97053/paper/Rendle2010FM.pdf  本文仅仅只是对文章的一些个人理解。本章先回顾一下...

一个菜鸟的自我修养

2094 6 1

一个菜鸟的自我修养

您好，对于第一个问题：可能此处描述有误，确实代码中未真实的处理为0-1 one-hot独热编码，但是我所理解这里的处理就是为了后续做独热编码准备，因为每一行样本，取值要么是{'-1': 1664, 'c9d4222a': 1665, 'ad3062eb': 1666, '8ec974f4': 1667, '78e2e389': 1668}这几个取值中的一个，当样本取值为8ec974f4，也就是只有在1667为1，其它位置为0。第二个问题：不需要加1的，举个例子，前面的特征全是dense feature总共有6个（从0开始编号 0,1,2,3,4,5），此时total_feature=6，下一个特征是离散值，取值共有4个，那么range(6, 6+4)为（6,7,8,9）刚好4个值，没有问题的。我的理解额，可能中间也有一些问题，我也是当时初学写的一些笔记，可以回想交流一下哈。

FM模型的一些理解的实操

原文：https://www.csie.ntu.edu.tw/~b97053/paper/Rendle2010FM.pdf  本文仅仅只是对文章的一些个人理解。本章先回顾一下...

一个菜鸟的自我修养

2094 6 1

一个菜鸟的自我修养

  回顾上一节说的FM模型https://www.jianshu.com/p/b63c05758b2a，同样假设我们的样本有个，维度是，经过ont-hot或者multi-ho...