1. 模型简介
模型思想
多元线性回归(multiple linear regression) 模型的目的是构建一个回归方程,利用多个自变量估计因变量,从而解释和预测因变量的值。多元线性回归模型中的因变量和大多数自变量为定量值,某些定性指标需要转换为定量值才能应用到回归方程中。
意义
事物的联系也是多方面的,而影响事物发展的因素是多样的。由多个自变量的最优组合共同来估计因变量,比单一的自变量预测更有效,更符合实际。
比如糖尿病人的血糖变化可能受胰岛素、糖化血红蛋白、血清总胆固醇、甘油三酯等多种指标的影响。但很多情况下,由于自变量的单位是不一样的,需要做标准化处理。比如在消费水平预测模型中,工资水平、受教育程度、职业、地区、家庭负担等因素都会影响到消费水平,而这些影响因素的单位和量级肯定是不同的,虽然不会影响自变量的重要程度,但是对回归系数的大小还是有直接影响作用的。标准化回归系数没有单位,其值越大,说明该自变量对因变量的影响越大。
2. 多元线性回归模型
一般形式
其中,Y为因变量,X为自变量,上式中共有k个自变量和一个常数项。如果自变量经过标准化处理,则上式没有常数项,换句话说,Y的期望值与自变量的函数关系如下:
上式也被称为多元总体线性回归方程。
如果有n组观测数据,则可以采用方程组形式表示
其矩阵形式为:
简化形式见下式:
条件
使用多元线性回归必须满足如下的几个条件:(1) 因变量Y和自变量X之间具有线性关系。(2) 各观测值Y相互独立。(3) 残差e服从均值为0,方差为δ^2的正态分布,也就是对自变量的任意一组观测值,因变量Y具有相同的方差,且服从正态分布。
参数估计
多元线性回归方程有k+1个待估计的系数
利用一组观测值可以对它们进行估计,常用的参数估计方法是最小二乘法。普通最小二乘法过最小化误差的平方和寻找最佳函数,常用矩阵运算求解系数矩阵。
假设利用上式计算得到了估计的系数矩阵β,则可以进一步计算样本拟合值或回归值。
其中,Y的某个分量的拟合函数为
对于真实的样本观测值和拟合值之间的差值,我们称为残差:
最小二乘法的思想就是使得样本数据的残差平方和最小,进而得到最优的回归系数。即使得
取得最小值。利用上式对k+1个系数求偏导数,并使得导数为0,即求得β的普通最小二乘估计量。矩阵计算公式参考上边系数矩阵估计方程。
3. 模型检验与评价
方差分析
我们假设系数全为0,利用传统的假设检验方法,计算F检验或t检验统计量,验证回归方程是否有统计学意义。如果利用excel或spss,可以得到如下图所示的回归方差分析表。
如果F值大于置信边界值,或P小于0.01,则认为系数不全相等且回归方程有统计学意义。
决定系数
决定系数R^2,取值范围为[0,1],代表自变量能够解释因变量的比例,其值越接近1,说明模型对数据的拟合程度越好。
复相关系数
可以用来度量因变量Y和自变量X之间的线性相关程度,亦即观察值和估计值之间的相关程度。其值R为决定系数的平方根。
偏回归平方和
指的是在固定其他k-1个自变量的条件下,某一自变量对因变量Y的贡献程度或影响程度。相当于在回归方程中剔除某自变量后引起回归平方和的减少量,或者在k-1个自变量的基础上增加某自变量后引起的回归平方和的增加量。
SS回(X)指的是偏回归平方和,其值越大说明相应的自变量越重要。
t检验方法与偏回归平方和检验等价,利用假设检验的形式验证某自变量是否对因变量有显著的影响作用,其验证方法与F检验类似,t检验统计量的计算公式如下:
4. 案例解析
暂时先分享几个其他人的博客吧。
首先是最简单的例子,可以手工计算的小栗子,请参考这个课件,一边讲概念,一边进行具体的计算。
然后是利用SPSS这个统计软件的案例,软件功能强大,但是使用起来还要多看说明,不然有些功能还是不知道怎么实现。
再然后是强大的统计编程R语言的解读,强大的绘图功能可以方便我们做出很多好看的分析图表来,比如下面这张图。
最后是Python语言的实现博客简易篇和提升篇,两篇的难易程度不同,大家可以自行选择。
参考文献
[1]. 课件-多元线性回归分析-结合例子来讲,容易理解
[2]. 百度百科-多元线性回归-简单介绍
[3]. 博客-多元线性回归-公式很详细