背景
互联网实验一般使用基于正态分布模型的检验方法,但是在ab实验中我们可能遇到这样的情况:
1.实验结果分析,实验组均值比对照组均值提升了10%,相对提升的置信区间是多少呢?
2.实验组用户合计点击率为26%,对照组未25%,置信度与置信区间如何计算?
在场景1中,实验组均值、对照组均值是分别服从正态分布的,但是它们的比值会服从正态分布么?标准差怎么计算?
而场景2中,平均浏览数、平均点击数是服从正态分布的,但平均点击率等于平均点击除以平均浏览。我们又陷入了正态分布随机变量除以正态分布随机变量的问题!
Delta method可以帮助我们解决这类问题。
Delta method是什么
Delta method说的是当一个随机变量服从正态分布时,经过可导的函数变化后仍然概率趋向正态分布,并且提供了期望、方差的计算公式。
单变量下:
如 ,且函数g(x)可导,
则
多变量下:
如 ,且函数g(x)可导,
则。
其中是多元正态分布的协方差矩阵,为函数的梯度向量。
Delta method的个人理解
以下为单变量下的个人理解,不等于严格证明。
泰勒公式:
根据泰勒公式:
则:
由于服从正态分布,左边也近似服从相同的正态分布,且有接近的均值与方差。
为什么可以解决AB的问题
场景1与场景2都是两个正态分布随机变量做除法运算的问题,设一个为Xn,一个为Yn,则(Xn, Yn)服从二元正态分布:
我们对Xn,Yn的操作等于函数 ,根据Delta方法:
其中,
联系背景问题
于是我们可以对两个问题的解决方案:
场景1:对照组均值,为实验组均值,使用样本均值、样本方差做期望、方差的点估计;
场景2:为平均用户页面浏览次数,为平均用户页面点击次数,同样使用样本均值、样本方差做期望、方差的点估计。
总结
Delta方法对实验分析至关重要,已经几乎成为所有AB实验平台的一部分,主要用来解决随机化单位与分析单位不同的问题。Delta方法还可以扩展到更高维度,如微软的CUPED论文中通过四元正态分布的Delta方法解决比例型指标的CUPED计算难点。