背景 为了加速实验迭代,需要兼顾:速度、质量、风险,Linkin提出了SQR框架:SQR: Balancing Speed, Qality and Risk in Onlin...
IP属地:广东
背景 为了加速实验迭代,需要兼顾:速度、质量、风险,Linkin提出了SQR框架:SQR: Balancing Speed, Qality and Risk in Onlin...
背景 做A/B实验相关工作中遇到一些问题,其中之一就是如何判断新版本对用户影响,以前的做法:1.所有新功能都预埋开关(默认关),对新版本用户随机分桶后对实验组开启,用标准A/...
之前知道SPRT是什么和怎么用,但是不知道怎么证明它是对的,最近搞懂了记录一下。 1. SPRT简介 SPRT是在二战中由Wald发明的,最初用于检验炮弹质量。 如果X1, ...
本文是对《Objective Bayesian Two Sample Hypothesis Testing forOnline Controlled Experiments》...
本文介绍A/B实验中一个常见的错误——多重检验错误,它经常影响实验得到错误的结论。相关数学推导放在文末,跳过不影响理解。 错误案例 让我们从先看一个例子:软糖会导致粉刺么? ...
在A/B实验设计——如何避免多重检验错误[https://www.jianshu.com/p/2d30efc37b8b]中,介绍了什么是多重检验,并且介绍了Bonferron...
CUPED(Controlled-experiment Using Pre-Experiment Data)[https://exp-platform.com/Documen...
背景 互联网实验一般使用基于正态分布模型的检验方法,但是在ab实验中我们可能遇到这样的情况:1.实验结果分析,实验组均值比对照组均值提升了10%,相对提升的置信区间是多少呢?...