今天学习到一个名词,无偏估计。
如何理解“不论总体服从什么分布,样本均值是总体均值的无偏估计量”这句话,什么是无偏估计呢?
均值的无偏估计
比如我们想知道一个群体的平均身高,但是没有办法把每个人都进行测量,只有抽样一部分来估计整体的身高。
那么,可以用下面式子来进行平均值的无偏估计:
为什么说是无偏估计,因为不同采样得到的平均值是围绕整体均值(u)左右波动的,这种估算方法没有系统上的偏差,而产生误差的原因只有一个:随机因素(也就是抽样的区别造成的)。
方差的无偏估计
我们用下面的式子来进行方差的无偏估计:
或者是
这里会有几个问题,为什么可以用S2来近似整体方差,如果用样本均值的期望代替整体均值,为什么要用n-1代替n。
已知整体均值(u),采样具有随机性,我们多采样几次,S2会在整体方差的上下波动。
根据中心极限定理,S2的采样均值会服从整体均值(u)=整体方差的正态分布,因此S2可以作为整体方差的无偏估计。
但是如果我们不知道整体均值,只能计算出不同采样的样本均值。当整体均值等于样本均值时,下式最小:
只要整体均值偏离样本均值,该值就会增大。
所以:
如果用下面式子来估计:
那么S2采样均值会服从一个偏离整体方差的正态分布,倾向于低估,具体低估了
因此
而下式得到的就是方差的无偏估计
估计的有效性
另外估计值还有另外一个概念就是有效性,估计量越靠近目标,效果越“好”。这个“靠近”可以用方差来衡量。有效性和无偏性是不相关的两个概念:
有时候不一定追求估计的无偏性,如果系统误差在可接受的范围内,有效性高也是不错的选择。