老姚记事本

以下内容重在描述解决的问题、大概思路和可能收益，详细数学和细节参考引用论文。 1. 背景 AB实验来自于来自科学又夹杂着玄学，下面是其中最常见的两个玄学。 1.1. 发布决策...

老姚记事本

(不知道怎么翻译标题好了……)在经典的假设检验中，零假设的分布是魔鬼的代言人：观察值必须超过的标准，以使科学界相信发生了一些有趣的事情（比如在零假设分布中超过1.96的中心距...

老姚记事本

经典单case假设检验基于对统计量（p值）尾部的解释。二战后，多重检验继续基于p值，并扩展到大规模假设检验，前面3和4章进行了介绍。然而即使控制了错误发现率，仍然与显著性检验...

老姚记事本

4.1 正确与错误的发现 假设我们有一种决策方式，它对个假设决策如下： 则FWER为a大于0的概率，而 被称为错误发现比率（false discovery proportio...

老姚记事本

3.1 p值和z值 一般性假设检验构建拒绝域使得对应的p值为： ( 是根据显著性水平 构建的，而显著的 则根据包含x的最小区域计算的) 显然越小越确定存在显著差异，p值引入了...

老姚记事本

2.1 贯穿本章的例子 一份用于研究前列腺癌与基因关系的数据：102个人中50个正常，52个是癌症患者，统计每个人的6033个前列腺相关基因。数据用维的矩阵表示：则基因i的双...

老姚记事本

最近接触Efron大神的经验贝叶斯相关内容，大受震撼！准备把Large-Scale Inference一书认真学习一遍，特此记录。 1.1 贝叶斯规则和多元正态分布的估计 1...

老姚记事本

之前知道SPRT是什么和怎么用，但是不知道怎么证明它是对的，最近搞懂了记录一下。 1. SPRT简介 SPRT是在二战中由Wald发明的，最初用于检验炮弹质量。 如果X1, ...

老姚记事本

背景 为了加速实验迭代，需要兼顾：速度、质量、风险，Linkin提出了SQR框架：SQR: Balancing Speed, Qality and Risk in Onlin...

老姚记事本

本系列是以《Survival Analysis——A Self-Learning Text》为主结合补充材料的学习重点记录。 I. 它是什么 通过统计学方法研究事件发生需要的...

老姚记事本

背景 多臂老虎机是一个在探索(exploration)和开发(exploitation)过程中寻找最高收益的问题。此类“实验”能力几乎已经成为了优秀实验平台的标配。本篇是阅读...

老姚记事本

为了选择效果最好的方案，在进行A/B实验中，经常会同时设置多个实验组，并且分别与对照组比较。这样做会有两个问题：1. 多重比较问题；2. 衡量效果时存在选择性偏差。为了解决这...

老姚记事本

背景 做A/B实验相关工作中遇到一些问题，其中之一就是如何判断新版本对用户影响，以前的做法：1.所有新功能都预埋开关(默认关)，对新版本用户随机分桶后对实验组开启，用标准A/...

老姚记事本

进行线上ab实验时，为了确认结果可信，用户常常会复验前一阶段的实验。此时经常遇到复验与原实验结果不完全统一，如何综合评估实验效果？荟萃分析可以解决此类问题。本文仅简介固定效果...