广义线性模型是围绕指数分布族的，大多数分布都属于指数分布族，比如：Bernoulli伯努利分布、Gaussian高斯分布、multinomial多项分布、Poisson泊松分布、gamma分布、指数分布、Dirichlet分布……，服从指数分布族的条件是概率分布可以写成如下形式：

image.png

其中：

1. η 是自然参数（natural parameter，also called thecanonical parameter），和分布有关。
2. T(y) 是充分统计量 （sufficient statistic） ，一般情况下就是y。
3. a(η) 是对数部分函数（log partition function），e^-a(η)本质上起着规范化常数的作用，保证yd的概率分布总和∑ p(y|η)等于1（对于连续函数来说是积分）。

当T()、a()、b()固定之后实际上就确定了指数分布族中的一种分布模型，就得到了以η为参数的模型。如果T()、a()、b()选择某种特殊的函数形式，指数分布族就会退化为某种特殊的概率分布形式（比如二项分布、正态分布），具体的分布形式就会对应了具体的回归模型。

为什么要把 y 的条件分布定义为这么奇怪的指数分布族？这是因为，在这样的定义下，我们可以用数学证明：

• P(y|η)的期望值

  
  
  image.png

• P(y|η)的方差

  
  
  image.png

如此简洁的期望和方差意味着：一旦待估计的y 的概率分布写成了某种确定的指数分布族的形式（也就是给定了具体的T()、a()、b()），那么我们可以直接套用公式一构建回归模型。

广义线性模型对一般问题进行建模首先需要明确三个假设：

1. p(y|x;θ)∼ExponentialFamily(η) —— 给定x和θ，y的分布服从某个指数族分布（nature parameter = η）。
2. our goal is to predict the expected value of T(y) given x —— 给定x，学习的目标是预测在条件x下函数T(y)的期望值E(T(y)|x)，绝大多数情况下函数T(y)=y，这就意味着我们希望预测E(y|x)，我们定义假设函数（hypothesis）h_θ(x) ，训练的目的是获得拟合函数h_θ(x) = E(y|x)的参数θ。

以“逻辑回归”举例，其条件概率p(y|x;θ)服从高斯分布，高斯分布的期望是μ。假设函数h_θ(x) = 0·p(y=0|x;θ) + 1·p(y=1|x;θ) = p(y=1|x;θ) = E(y|x;θ)。

image.png

3. The natural parameter η and the inputs x are related linearly —— 参数η和输入x是线性相关的：η=θ^Tx。

123

式子 ln(y_i) = θ₀ + x_i1θ₁ + x_i2θ₂+ ...+ x_ikθ_ik + ε_i 是一个普通的线性回归，只是出现在左侧的是ln(y_i)而不是y_i。可被通用化表示为：ln(y_i) = x_i0θ₀ + x_i1θ₁ + x_i2θ₂+ ...+ x_ikθ_ik + ε_j =θ^Tx_i + ε_i ，其中x_i0=1。

所有线性回归都一样，有：E(ln(y_i)) = E(θ^Tx_i + ε_i) = x_i0θ₀ + x_i1θ₁ + x_i2θ₂+ ...+ x_ikθ_ik + E(ε_i)

我们假设每个特征值的误差 ε_i 都满足独立、同分布的正态分布：ε_i ϵ N(0, (σ_ε)²)，ε_i的期望E(ε_i)=0，因而有：E(ln(y_i)) = E(θ^Tx_i)，所以，只要确定了θ，这个模型便能够估计出ln(y_i)的概率分布期望。

事实上，我们对 E(ln(y_i) 的取值并没有兴趣，我们真正感兴趣的是y_i，因为y_i符合某种指数型概率分布，如果模型能够根据x_i预测出y_i的取值期望E(y_i)，相当于间接确定了y_i的概率分布（E(y_i)决定了y_i的分布）。

(1) 把 ln(y_i) = θ^Tx_i + ε_i 变形得： y_i = exp(θ^Tx_i + ε_i)
(2) 求期望：E(y_i) = E( exp(θ^Tx_i + ε_i) ) = E( exp(θ^Tx_i) * exp(ε_i) ) = exp(θ^Tx_i) * E( exp(ε_i) )
(3) 对于ε_i ϵ N(0, σ²)来说，E( exp(ε_i) ) = exp(σ²/2)，这样有：E(y_i) = exp(θ^Tx_i) * exp(σ²/2)

由此可见，如果想要预测y_i的期望值，必须：

(1) 计算ln(y_i)的值。
(2) 计算幂指数 exp(ln(yi))。
(3) 计算幂指数exp(ln(yi))乘以exp(σ²/2)，σ²是回归模型的均方根误差（标准误差）。

根据假设二，给定x，我们希望训练出参数θ来预测E(y|x)，也即获得能够拟合函数hθ(x) = E(y|x)的参数θ。

伯努利分布 > Logistics回归：

伯努利分布只有0、1两种情况，因此它的概率分布可以写成：

image.png

写成指数族分布的形式有：

image.png

image.png

image.png

这样有E(T(Y))= E(y)，根据假设二，给定x，我们希望训练出参数θ来预测E(y|x)，也即获得能够拟合函数hθ(x) = E(y|x)的参数θ。伯努利分布的期望E(y|x)：

image.png

所以，我们需要训练参数来拟合下面的函数：

image.png

又有：

image.png

image.png

所以：

image.png

也即：

image.png

可见，给定x，我们可以通过θ^Tx_i线性拟合出η，η决定了y所服从的指数模型的分布特征，所以η的表达式一定包含决定y分布的关键因子，这个因子一定直接影响了y分布的期望。所以，由η一定能够通过某种转换得到y分布的期望，也即h_θ(x)。

这样，我们可以找到θ^Tx_i和期望h_θ(x)的关系，用指数函数的形式表达出来。而期望h_θ(x)通常被当作yi的估计值，因此这个关系就相当于建立了yi和θ^Tx_i的关系，进而根据训练集的各个(y_i， x_i)便能够确定模型参数θ。

模型训练结束后，给定任意 x_i，便能输出预测E(y_i)，而E(y)据定了y_i的概率分布P(y_i)，便可以得到各种y_i取值的概率。

附：

image.png

image.png