概念:
已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,参数估计就是通过若干次试验,观察结果,利用结果推出参数的大概值。
最大似然估计是建立在这样的思想上:已知某个参数能使这个样本出现的概率最大,我们当然不会再去选择小概率样本,所以干脆就把这个参数作为估计的真实值。
定义:
设总体分布为f(x,θ),x1,x2,x3,x4...xn为该总体采用得到的样本。因为x1,x2...xn独立分布,于是,他们的联合密度函数为:
一般步骤:
(1)写出似然函数;
(2)对似然函数取对数,得到对数似然函数;
(3)若对数似然函数可导,求导,解方程组
得到驻点。
(4)分析驻点是极大值点
举例:
抛一枚硬币10次
正面为1,反面为0,结如下:
【1,1,0,1,1,1,0,0,1,1】
设正面的概率为p,反面的概率为(1-p)
(1)则最大似然函数公式为L=p*p(1-p)*p...*p*p
简化公式如下:
L=p7*(1-p)3
(2)取对数:lnL=7*lnp+3ln(1-p)
(3)求导:0=7*(1/p)+3*(1/(1-p))*(-1)
7/p=3/(1-p)
得出结果p=7/10
(4)7/10w为极大值点。