假设检验中的二项检验

作者自认才疏学浅, 对机器学习仅略知皮毛, 更兼时间和精力所限, 文中错谬之处甚多, 虽每次发布均对错处或易误解处做勘误修订, 但仍在所难免, 若蒙读者诸君不吝告知, 将不胜感激. (借周老师的一段话, 谢谢大家)

更新：

感谢@他说_1f65 的指正，尽信书不如无书，谢谢指正

引用自<机器学习>书籍官网: 勘误修订
第一版第30次印刷, 2018年12月):
p.38, 式(2.27)：" $\max$ " --> " $\min$ "

周志华机器学习的2.4.1节中提了一下假设检验中的二项检验

看到网上的各种读书笔记只是提了一下, 并没有详细解释具体怎么用二项检验来做假设检验的. 其中的原理和背后的思路是什么都没有提及.

知乎上也有个没人回答的寂寞问题: https://www.zhihu.com/question/287895170

在书上解释二项检验的篇幅不多, 但是我花了许多时间来理解.

数学不好, 所以解释起来一定有很多瑕疵, 请见谅

1. 为什么能用二项分布来进行检验?

按照书上的说法, 假设检验"是对学习器泛化错误率分布的某种判断或者猜想"

首先引入一个重要的假设:

H1: 一个学习器中的错误与其他部分是独立不相关的(independent identically distributed)

由此可以得到一个推论:

每次随机采样中的错误率 $\hat \epsilon 的分布是符合独立不相关的$

这是书上使用二项分布来描述测试错误率的分布的前提

2. 书上2.27那个公式到底在表达什么意思?

书上2.27的公式如图

公式2.27

step 1

首先先看 $s.t.$ 的右边除去求和项的部分:

这是个二项分布公式,

所以我们能画出二项分布的概率密度曲线:

这里我用正态分布近似了, 为了方便理解
x轴我用样本中错误率 $\hat \epsilon$ 代替了样本中错误个数(误分类样本数) $\hat \epsilon \times m$ , 因为如果每次取样的样本数 $m$ 固定的话, 那么 $\hat \epsilon \Leftrightarrow (\hat \epsilon \times m )$
y轴的概率是: "学习器对样本做出的预测的错误率为 $\hat \epsilon$ 的概率"

一个期望 = 0.8 的二项分布的近似曲线

step 2

再看求和符号

$\sum^m_{i = \epsilon_0 \times m + 1}$

这里求的是: 学习器对样本的预测的错误率满足 $\hat \epsilon \geq \epsilon_0$ 的概率, 如图中红色区域所示:

step 3

看需要满足的不等式条件

$< \alpha$

书上已经写了这个 $\alpha$ 其实就是上一步中的"学习器对样本的预测的错误率满足 $\hat \epsilon \geq \epsilon_0$ 的概率"

也就是要满足"红色区域的面积 $< \alpha$ "

能满足"红色区域的面积 $< \alpha$ "的分布可能有很多,

但是根据 $s.t.$ 左边的式子

$\overline \epsilon = max\ \epsilon$

我们要找到满足这个条件的所有可能的 $\epsilon$ 中最小的那一个

为什么要取最小的那一个?
因为二项分布 $X \sim Binomial(n,p)$ 的期望 $E = np$ , 也就是说在n固定(样本总数固定)的情况下, 采样错误率 $\epsilon$ 越大, 那么整个图形就越靠右. 导致红色区域面积变大
所以如果要满足"红色区域的面积 $< \alpha$ ", 必定取错误率 $\epsilon$ 小的分布(靠左).

此时, 我们能得到一个满足临界条件的分布 $X \sim Binomial(m,\overline \epsilon)$

因为期望 $E = np = m \times \overline \epsilon$ , 所以在我们的图上画出来就刚好是中线(请记住我们把x轴从误分类样本数 $\overline \epsilon \times m$ , 变为了错误率 $\overline \epsilon$ )

3. 怎么理解这个公式之后的结论?

书上给了个结论特别拗口:

此时若测试错误率 $\hat \epsilon$ 小于临界值 $\overline \epsilon$ , 则根据二项检验可得出结论: 在 $\alpha$ 的显著度下, 假设" $\epsilon \leq \epsilon_0$ " 不能被拒绝, 即能以 $1-\alpha$ 的置信度认为, 学习器的泛化错误率不大于 $\epsilon_0$ ; 否则该假设可被拒绝, 即在 $\alpha$ 的显著度下可认为学习器的繁华错误率大于 $\epsilon_0$

每个字都认得但是这句话是什么鬼意思...

step 0 重申下假设检验方法.

假设检验的方法是:

已知某个事件有个确切的发生概率 $p_{true}$
我们对这个时间假设了一个发生概率 $p_{hypothesis}$
我们通过对样本进行观测, 得到了观测概率 $\hat p$

如果以假设概率 $p_{hypothesis}$ 的视角来看, 观测概率 $\hat p$ 是一个几乎不可能发生的事件(处于置信区间之外), 那么我们否定假设概率 $p_{hypothesis}$

(类似于反证法, 如果原命题成立, 则x事件不会发生, 但是实际情况是x事件发生了, 所以原命题不成立)

step 1 用硬币实验重新定义置信度

置信度我们应该很熟悉了, 但是这里要扩展一下

之前我一直陷入了一个思维误区是, 置信度的意义是:

假设我们有一个真实的分布, 比如做N次"抛硬币50次看正面朝上的概率"的实验, 我们能得到硬币正面朝上分布 $X \sim Binomial(50,0.5)$ , 然后我们取正面朝上的概率 $\hat p$ , 有 $1-\alpha$ 的概率是处于以0.5 为中心的某个置信区间内的. 如下图所示, 红色线段代表这个置信区间:

红色的是正面朝上概率的置信区间, 置信度为1-α

然后我看了这个课件

发现有另一种表述方式也是对的:

假如我们做N次"抛硬币50次看正面朝上的概率"的实验, 我们能得到硬币正面朝上分布 $X \sim Binomial(50,0.5)$ , 然后我们取正面朝上的概率 $\hat p$ , 硬币正面朝上的真实概率0.5有 $1-\alpha$ 的概率会在"以 $\hat p$ 为中心的某个置信区间"内

注意区分加粗斜体部分的区别, 我们把这个画下来:

真实的概率0.5 有1-α的概率刚好落在我们测得的分布的置信区间上

乍看上去这只是一句同样的话反过来说, 但是我们可以把这个表述应用到我们的问题中去

step 2 解释

首先, 我们找到一个分布, 这个分布 $X \sim Binomial(m,\overline \epsilon)$ , 这个分布满足有 $1-\alpha$ (e.g. 95%)的概率, 错误率 $\overline \epsilon \leq \epsilon_0$

如果我们观测到的测试错误率 $\hat \epsilon$ 小于 $\overline \epsilon$ , 那么这是一个更加靠左的曲线

橙色是观测到测试错误率之后推测的分布

所以根据step 1 的结论:

这个测试错误率意味着:

真实错误率 $\epsilon$ 有 $1-\alpha$ 的概率落在红色线段所在的区域内

也就是说

真实错误率 $\epsilon$ 有 $\geq 1-\alpha$ 的概率落在小于 $\epsilon_0$ 的区间内

step 3 补充

其实上面这个模型有点简化了,

二项分布的方差也和它的概率 $p$ 相关的:

$Var[X] = np(1-p)$

这意味着从公式上说有可能在 $p$ 减小的过程中, 分布变得更宽导致置信度 $1-\alpha$ 置信区间变宽(p = 0.5时最宽)

但其实并不会.

它的累积分布函数是:

摘自Wikipedia

作图出来是这样的

不同概率p情况下的累积分布函数

可以看到随着概率 $p$ 的减小, 达到80%发生概率所需要的次数也变小了

在我们的这个例子里, 就是随着错误率 $\hat \epsilon$ 的减小, 达到置信度 $1-\alpha$ 的所需要的误分类样本数 $\hat \epsilon \times m$ 也变少了, 就是说上图中的红色线段还是向左移动的, 只是说移动的速率可能和 $\hat \epsilon$ 的减小不是线性关系

最后

其实我写完了发现可能我的解释有点过于复杂了, 核心其实就是关于置信度的理解的转变上面.

但是写这么啰嗦是希望以后过一段时间我再看, 能通过自己这个笔记理解二项检验...

最后编辑于：2019.10.20 23:26:20

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 203,098评论 5赞 476
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 85,213评论 2赞 380
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 149,960评论 0赞 336
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,519评论 1赞 273
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,512评论 5赞 364
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,533评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 37,914评论 3赞 395
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,574评论 0赞 256
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,804评论 1赞 296
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,563评论 2赞 319
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,644评论 1赞 329
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,350评论 4赞 318
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,933评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,908评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,146评论 1赞 259
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 42,847评论 2赞 349
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,361评论 2赞 342