道与术:数据驱动产品优化离不了的 A/B 测试

在讲数据驱动产品优化前,我们先来回顾国内互联网的几个阶段。钱天白教授在1987年发出的第一封电子邮件,揭开了国内互联网发展的序幕。

互联网在中国的发展历程可以大略地划分为三个阶段:1986年6月到1993年3月的研究试验阶段,1994年4月至1996年的起步阶段,以及1997年至今的快速增长阶段,这一阶段诞生了陈天桥、马化腾、汪延等IT 大佬。

略过前两个阶段,我们来细看快速增长阶段。

在1997-2004年前后互联网发展的早期,互联网商业化主要是受概念驱动,出来一个全新的概念,似乎很快就能火,因为可选择的产品不多,用户群对互联网也缺少认知。

经过了大约七八年的“浸淫”(原谅这里用了这么一个词),2004年开始国内互联网逐渐变成了受产品驱动,这一阶段一直持续了将近十年。互联网迅速从蓝海变成红海,要想从激烈的竞争中脱颖而出,各种产品不得不重视用户体验,这期间“人人都是产品经理”,“人人都想做产品经理”。这一阶段的发展不得不忽视的是中国的人口红利和智能手机的普及。

IDC 2012-2016年中国智能手机出货量预测

2015年智能手机出货量的饱和和国内人力成本的增加,使得大多数的公司不得不思考产品优化中的投资回报率,这一阶段也就是数据驱动精细化运营阶段。这一阶段有这么几个特点:

1.流量成本越来越高

2.想依靠人口红利带来用户增长越来越难

3.不得不思考怎么去做精细化运营,让花出去的每一分钱都带来效果

在人口红利不再,流量成本极其高昂,总体网民用户数量一定的情况下,让见到产品的用户更多的留下来,带来更大的转化率,似乎是更应该思考的问题。

吆喝科技:产品运营漏斗

在产品曝光给用户之前,想一下怎么才能让产品对用户来说更有“眼缘”呢?有“眼缘”之后怎么才能“要到电话”?有了电话又怎么才能跟用户有更大的“约会”机会?进一步的发展呢?

产品运营漏斗的每一步,都存在优化的空间,在有限的投入下获取更大的优化率,是数据驱动产品运营要做的事,此谓产品运营之道。

道是战略,不应该懒惰,术是执行,更要勤勉。 A/B 测试就是数据驱动产品运营中的术。

一般场合出门前,我们会对比几套衣服,到底穿格子衫好还是穿 polo 衫,或者极客范的你会穿大 T-shirt 。这个过程其实就是一次简单的 A/B 测试,包含了 A/B 测试的核心思想:

1、多个方案并行测试(对比了几套衣服);

2、每个方案只有一个变量不同(只对比了上衣);

3、以某种规则优胜劣汰(最终穿了最符合你形象气质的衣服)。

A/B 测试是指在所有条件都相等的条件下,只改变一个条件,从 A 改成 B ,然后对比两者产生的效果的不同。单一变量决定了 A/B 测试的科学性。

A/B Test

对应到技术产品里, A/B 测试的方法就是将产品的用户流量分割成 A/B 两组,一组试验组,一组对照组,两组用户特点类似,并且同时运行。试验运行一段时间后分别统计两组用户的表现,再将数据结果进行对比,就可以科学的帮助决策。

单纯的讲 A/B 测试是如何的科学,对于运营与产品增长是多么有效看起来好苍白,那么我们通过更多的案例来讲。


谷歌 A/B 测试案例

•  Google 每个月从上百个 A/B 测试中找到十几个有效方案,月营收提升2%左右,10亿美元的规模

•  广告位左移一个像素带来 X %的营收,左移两个像素带来 Y %的亏损

•  任何产品的优化、改动都需要 A/B 测试才能上线


脸书 A/B 测试案例

•  facebook 6个月内所有产品全部线上灰度发布,通过不断进行用户的流量分割的方式进行试验,获得无 BUG 口碑


滴滴出行 A/B 测试案例
滴滴出行在滴滴司机招募的着陆页上,通过尝试不同的设计和文案,使得注册率提升了20%以上

需要注意的是,不是每一次 A/B 测试验证过的改动都会带来增长,但 A/B 测试确确实实能帮你排除掉了不好的策略。通过 A/B 测试验证好的改动才通过上线,这就保证了产品迭代中的小步快跑里总是在对产品做优化和提升。

“从现在开始的10年内,当我们回顾大数据时代是如何发展时,我们会震惊于以往做出决策时信息的匮乏。”

做对的事情,做 ROI 最高的事情,在避免犯错的情况下最大化优化产品运营漏斗,你需要在产品体系里引入 A/B 测试,拍脑袋的决策已经失效,产品优化中的每一处改动都应该经过数据精确的衡量,毕竟:“ If you can't measure it, you don’t know how to make it better ! ”


AppAdhoc 在线A/B测试云服务平台:用数据优化产品

国内唯一同时支持前端( Web / H5、iOS、Android )及后端(Node.js、PHP、Java、Python等) A/B 测试云服务的专业 SaaS 平台。产品、市场以及运营人员可以通过数据验证最佳方案并发布,提高效率的同时降低决策风险。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,098评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,213评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,960评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,519评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,512评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,533评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,914评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,804评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,563评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,644评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,350评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,933评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,908评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,146评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,847评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,361评论 2 342

推荐阅读更多精彩内容