极大似然估计（Maximum Likelihood Estimation，简称MLE）是统计学中用于估计模型参数的一种方法。它通过寻找能够使得观测数据出现概率（似然函数）最大的参数值来估计未知参数。
引用场景
- 参数估计：当需要从样本数据中估计概率分布的参数时，如正态分布的均值和方差。
- 统计模型：在复杂的统计模型中，如线性回归、逻辑回归等，MLE可以用来估计模型的系数。
- 比较模型：当需要比较多个模型对数据的拟合程度时，可以使用MLE来确定哪个模型的参数估计使得似然函数值最大。
- 缺失数据：在数据存在缺失的情况下，MLE可以用来估计完整数据的概率分布。
- 生物统计学：在生物统计学中，MLE常用于估计生存分析、流行病学和其他生物医学研究中的参数。
实现步骤
-
建立似然函数：
- 似然函数是给定参数下观测数据的概率。对于一个简单的例子，假设我们有一组独立同分布的观测数据 ( X = {x_1, x_2, ..., x_n} )，每个观测值 ( x_i ) 来自某个概率分布，该分布的参数为 ( \theta )。似然函数 ( L(\theta) ) 表示为所有观测值的联合概率：
[
L(\theta; x_1, ..., x_n) = f(x_1; \theta) \cdot f(x_2; \theta) \cdot ... \cdot f(x_n; \theta)
]
其中 ( f(x_i; \theta) ) 是概率密度函数或概率质量函数。
- 似然函数是给定参数下观测数据的概率。对于一个简单的例子，假设我们有一组独立同分布的观测数据 ( X = {x_1, x_2, ..., x_n} )，每个观测值 ( x_i ) 来自某个概率分布，该分布的参数为 ( \theta )。似然函数 ( L(\theta) ) 表示为所有观测值的联合概率：
-
最大化似然函数：
- 找到参数 ( \theta ) 的值，使得 ( L(\theta) ) 最大化。这通常涉及到对 ( L(\theta) ) 取对数（称为对数似然函数），然后使用优化算法（如牛顿-拉夫森方法、梯度下降法等）来求解 ( \theta ) 的值。
-
求解最优化问题：
- 对数似然函数通常更容易处理，因为它将乘积转换为求和，并且可以将似然函数的非线性性质线性化。求解 ( \theta ) 的值可以通过以下步骤：
- 对 ( \ln L(\theta) ) 关于 ( \theta ) 求导数，设置导数等于0，找到极值点。
- 求解得到的方程，得到 ( \theta ) 的估计值。
- 对数似然函数通常更容易处理，因为它将乘积转换为求和，并且可以将似然函数的非线性性质线性化。求解 ( \theta ) 的值可以通过以下步骤：
-
验证估计结果：
- 估计得到的参数值需要通过一些检验方法来验证其合理性，如似然比检验、Wald检验或得分检验。
例子
假设我们有一组观测数据，它们来自正态分布，我们想要估计这个分布的均值 ( \mu ) 和方差 ( \sigma^2 )。
-
建立似然函数：
- 对于正态分布，概率密度函数为 ( f(x; \mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} e{-\frac{(x-\mu)2}{2\sigma^2}} )。
- 似然函数 ( L(\mu, \sigma^2) ) 为所有观测值的密度函数的乘积。
-
最大化似然函数：
- 对 ( L(\mu, \sigma^2) ) 取对数，得到对数似然函数。
- 对 ( \ln L(\mu, \sigma^2) ) 分别对 ( \mu ) 和 ( \sigma^2 ) 求偏导数，并设置为0，解得 ( \mu ) 和 ( \sigma^2 ) 的估计值。
-
求解最优化问题：
- 通过求解方程组，我们可以得到 ( \mu ) 和 ( \sigma^2 ) 的MLE估计值。
极大似然估计是一种非常强大的参数估计方法，它不仅限于正态分布，而且可以应用于任何概率分布的参数估计。
