这个被问过两次,正好有个契机重新回顾下:
1.p-value解释
p-value 会条件反射0.05,即假设检验p(A|h0)(拒绝域的概率)
若p<0.05,那么可以认为是小概率事件,接受原假设。
但是若出现h0本来是正确的,但居然发生了A事件,错误地否定了h0,称之犯了第一类错误
α即显著性水平(一般取0.05),控制犯第一类错误的概率,α越小,弃真概率越小
举个例子:假设100个球99个白球1个黑球,然后一抽就抽中黑球,即若入拒绝域,推翻原假设
一般来说,第一类错误(弃真FN)与第二类错误(取伪FP)有conflicts
从上图看,若临界值uα小(往左移),第二类错误β变小(即阴影面积越小),第一类错误α变大
实际中,一般控制α/β在一个固定数,然后尽可能减少另一类β/α,结合实际问题:
(1)若是疾病预测,那么应该尽可能减少α,有病误判成无病尽可能小(无病判成有病则显得不那么重要)
(2)若是价格昂贵的商品不合格产品判别(不合格为1),那么应该尽可能减少β,明明是合格产品误判成不合格,代价就很大
(1)(2)问题也分别可以对应ML里的higher recall & higher precision
2.假设检验步骤:
1.设定原假设,设定h0,h1
2.根据实际情况建立统计检验量(基于正态分布的假设)
3.确定h0的否定域
实际上是我们根据统计检验量和α显著性水平,计算出临界值,和临界值作比较
3.回归假设检验本质,因为我们只能获取到样本信息,所以做假设检验,去预估实际情况,如果本身能就得到总体数据,直接根据总体做判断,也就不涉及到假设检验,不涉及显著性水平。(曾经被挖坑的教训)