用Hive建立RFM模型

一、前言

做数据分析的时候,我们总是喜欢把客户分类,这样才能更有针对性的制定运营活动,比如按性别、年龄、等级、区域、设备、渠道等各个维度进行细分,这些维度都是基于客户的自身属性。


用户分类

RFM模型是客户关系管理领域里的一种消费行为分析模型,用来衡量用户的内在价值和忠诚度。它从三个关键维度描述用户的购买行为,其中R近度(Recency)代表最近购买时间,指上次购买距离当前的时间间隔;F频度(Frequency)代表购买频率,指某一段时间内购买的次数;M额度(Monetary)代表总购买金额,指某一段时间内购买商品的金额。

经过研究发现:
- R值越小,用户越有可能产生新的交易。
- F值越大,用户越有可能产生新的交易。
- M值越大,用户越有可能产生新的交易。

根据RFM模型,可以将付费用户细分为8种类型:

R近度 F频度 M额度 用户类型
重要价值客户
重要发展客户
重要保持客户
重要挽留客户
一般价值客户
一般发展客户
一般保持客户
一般挽留客户
RFM模型

二、构建RFM模型

样本数据(纯属虚构)
_uid pid money _tm pstatus
10255293 6000311 0.99 1519884098 2
10255293 6000939 0.99 1519884598 1
10459895 6000326 5 1519884709 2
10459895 6001344 30 1519917316 2
112135473 6000016 100 1519873245 2
112135473 6000070 1000 1519875865 2
116956409 6000233 5 1519881468 2
117171509 6000598 30 1519893902 2
117171509 6000585 5 1519893441 2
1179365 5999641 1.99 1519841118 2

其中,_uid表示付费用户ID,pid表示订单ID,money表示付费额度,_tm表示付费时间,pstatus表示订单状态(1表示退款,2表示支付成功),hive sql实现如下:

Hive SQL实现
WITH q1
AS (
    SELECT *
        ,datediff(from_unixtime(unix_timestamp(), 'yyyy-MM-dd'), from_unixtime(cast(last AS INT), 'yyyy-MM-dd')) AS recency
    FROM (
        SELECT *
        FROM (
            SELECT `_uid`
                ,cast(COALESCE(pamount, 0) AS DOUBLE) * cast(COALESCE(prate, 0) AS DOUBLE) AS pay
                ,pstatus
                ,row_number() OVER (
                    PARTITION BY `_uid`
                    ,`pid` ORDER BY `_tm` DESC
                    ) AS rank
                ,FIRST_VALUE(`_tm`) OVER (
                    PARTITION BY `_uid` ORDER BY `_tm` DESC
                    ) AS last
            FROM user_order2
            WHERE tm BETWEEN 20180101
                    AND 20180131
                AND plat = 607
            ) subquery
        WHERE subquery.rank = 1
            AND subquery.pstatus = 2
        ) a
    )
INSERT overwrite LOCAL directory '/home/hadoop/order' ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
SELECT u1.`_uid`
    ,CASE 
        WHEN u1.recency >= u2.recency
            AND u1.frequency >= u2.frequency
            AND u1.monetary >= u2.monetary
            THEN '重要价值客户'
        WHEN u1.recency >= u2.recency
            AND u1.frequency < u2.frequency
            AND u1.monetary >= u2.monetary
            THEN '重要发展客户'
        WHEN u1.recency < u2.recency
            AND u1.frequency >= u2.frequency
            AND u1.monetary >= u2.monetary
            THEN '重要保持客户'
        WHEN u1.recency < u2.recency
            AND u1.frequency < u2.frequency
            AND u1.monetary >= u2.monetary
            THEN '重要挽留客户'
        WHEN u1.recency >= u2.recency
            AND u1.frequency >= u2.frequency
            AND u1.monetary < u2.monetary
            THEN '一般价值客户'
        WHEN u1.recency >= u2.recency
            AND u1.frequency < u2.frequency
            AND u1.monetary < u2.monetary
            THEN '一般发展客户'
        WHEN u1.recency < u2.recency
            AND u1.frequency >= u2.frequency
            AND u1.monetary < u2.monetary
            THEN '一般保持客户'
        WHEN u1.recency < u2.recency
            AND u1.frequency < u2.frequency
            AND u1.monetary < u2.monetary
            THEN '一般挽留客户'
        END
FROM (
    SELECT `_uid`
        ,recency
        ,sum(pay) AS monetary
        ,count(1) AS frequency
    FROM q1
    GROUP BY `_uid`
        ,recency
    ) u1
JOIN (
    SELECT t2.daysum / t1.ucount AS recency
        ,t1.paycount / t1.ucount AS frequency
        ,t1.paysum / t1.ucount AS monetary
    FROM (
        SELECT sum(pay) AS paysum
            ,sum(1) AS paycount
            ,(count(DISTINCT `_uid`) * 1.0) AS ucount
        FROM q1
        ) t1
    JOIN (
        SELECT sum(recency) AS daysum
        FROM (
            SELECT `_uid`
                ,recency
            FROM q1
            GROUP BY `_uid`
                ,recency
            ) t
        ) t2
    ) u2
最终输出结果
_uid 标签类型
12529029 重要价值客户
94834596 重要发展客户
96111789 重要保持客户
115595186 重要挽留客户
95696135 一般价值客户
94851783 一般发展客户
96083591 一般保持客户
94901846 一般挽留客户
用户类型分布
用户类型分布

三、总结

RFM是一个简洁、有效的模型。但其这三个维度包含的信息有限。在用户分类运营过程中,无法具体到个性化需求。如果某个类别的用户对活动没有响应,他仍然会出现在下一次的营销目标人群中,造成资源的浪费。可以结合画像系统中的其他标签属性,比如购买周期、响应程度、活跃程度等维度。
上面的例子采用均值来划分用户类型,它容易受到数据极端值的影响,对于偏态分布的数据,其划分结果的代表性较差,可以使用中位数(percentile)或者其他划分标准,如找出所有用户的整体分布形态,按照业务需求进行切分。
另外就是不同用户每次付费额度差异较大,有的用户一次付费额度只有1元,有的用户一次付费100元。但在计算频度时都算一次。因此需要在RFM指标基础上加上权重值,使其能够较好的反应出用户的最终价值。
聚类算法也经常被用于客户分类,我们将在下章特征工程中给出详细说明。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,271评论 5 466
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,725评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,252评论 0 328
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,634评论 1 270
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,549评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 47,985评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,471评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,128评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,257评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,233评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,235评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,940评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,528评论 3 302
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,623评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,858评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,245评论 2 344
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,790评论 2 339

推荐阅读更多精彩内容