附录D：概率论基础之多维随机变量及其分布

时间：2018-09-07 作者：魏文应

一、二维随机变量

我们在《附录B：机器学习基础之最大似然估计》讲过什么是 随机变量。我们的向量是这么写的：

$(X, Y)$

这个就是二维向量，有两个变量。放在概率论里，叫做 二维随机变量 。

二、联合分布函数

联合分布是相对于两个以上（包括两个）变量的概率分析来说的。比如二维随机变量 $(X, Y)$ ，它的 联合分布函数 就是：

$F(a, b) = P\{X \leq a \space \cap \space Y \leq b \} \overset{\text{记成}}{=} P(X \leq a, Y \leq b)$

我们说过，无论什么事情，都可以用数字符号代表这件事情。如果给五个人依次编号 {1， 2， 3， 4， 5}，那么变量 $X$ 的取值就是 {1, 2, 3, 4, 5} 中的任意一个。同时假定有4只猫，编号{1， 2， 3， 4}，那么变量 $Y$ 的取值就是{1， 2， 3，4} 中的任意一个。那么 $P(X \leq 3)$ 是人编号小于等于 3 的概率， $P(Y \leq 2)$ 是猫编号小于等于 2 的概率。那么：

$P(X \leq 3, Y \leq 2)$

表示的就是，事件同时满足上面两个条件的概率。

三、联合分布律

分布律反映的是概率分布情况，联合分布律反映的就是有多个变量时的概率分布情况：

$P\{X = x_i, Y = y_i \} = p_{ij}$

上式就是有两个变量的 联合分布律。反映了两件事同时发生的概率。有时我们可能会感到疑惑，联合分布函数也是可以看做是两件事同时发生的概率，联合分布律也是反映两件事同时发生的概率。其实，不同的是，一个是 $\leq$ 小于等于号，一个是 $=$ 等号。

$P\{X = x_i, Y = y_i \}$ ：表示的是单个小事件。
$P(X \leq a, Y \leq b)$ ：多个小事件组成的大事件。

四、联合概率密度

我们说，人口密度越大，这个地区的人口越多。同样的，概率密度越大，说明这个区域的发生某件事的概率越大。联合概率是多个事件同时发生时的概率。我们说分布函数是，把那些事件，指定一个数 $a$ ，把所有编号小于 $a$ 的事件的概率都加起来。联合概率分布也是一样的，只是它的变量变多了而已。比如，二维随机变量 $(X, Y)$ 的分布函数是 $F(x, y)$ ，下面就是联合分布函数：

$F(a, b) = \int_{-\infty}^{a} \int_{-\infty}^{b} f(x, y) \mathrm{d}{x} \mathrm{d}{y}$

既然用了积分，那么 $x$ 和 $y$ 要求变量是连续的，而不是离散的。上式中的 $f(x, y)$ 就是二维随机变量 $X$ 和 $Y$ 的 联合概率密度 。

五、边缘分布

我们说，联合概率分布，我们关心的是两个变量同时发生的概率分布情况。如果我们只关心一个变量呢？比如 $(X, Y)$ 我们只关心 $X$ 的情况，不关心 $Y$ 的情况，那么可以这么写：

$F_{X}{(x)} = P\{X \leq x\} = P \{ X \leq x, Y \leq \infty \} = F(x, \infty)$

这就是关于 $X$ 的 边缘分布函数 。也就是下面这么计算：

$F_X (x) = F(x, \infty) = \sum_{x_i \leq x} \sum_{j = 1}^\infty p_{ij}$

$F_{Y}(y) = F(\infty, y)$ 是关于 $Y$ 的 边缘分布函数 。

边缘分布律

我们说，边缘分布就是不管其他变量，我们只关心一个变量。下面计算的是当 $X = x_i$ 时的概率：

$p_{i \bullet} = P\{X = x_i\} = \sum_{j = 1}^\infty p_{ij}$

这个就是 $X$ 边缘分布律。如果我们只关心 $Y$ ， $Y$ 的边缘分布律如下：

$p_{\bullet j} = P\{X = x_j\} = \sum_{i = 1}^\infty p_{ij}$

边缘概率密度

对于连续随机变量 $(X, Y)$ ， $X$ 的边缘分布函数可以写成：

$F_X(x) = F(x, \infty) = \int_{-\infty}^x { [ \int_{-\infty}^{\infty} f(x, y) \mathrm{d}{y} ] } \mathrm{d}{x}$

所以关于 $X$ 的 边缘概率密度 如下：

$f_X(x) = \int_{- \infty}^{\infty} f(x, y) \mathrm{d}y$

这个很好理解，一个变量时，概率密度是 $f(x)$ ，现在有了 $y$ 以后，而且概率密度用 $f(x, y)$ 来表示，当我们 $x$ 确定一个具体值时，我们要把所有当 $x = a$ 时的情况加起来，也就是 $\int_{- \infty}^{\infty} f(a, y) \mathrm{d}y$ 。关于 $Y$ 的 边缘概率密度 如下：

$f_Y(y) = \int_{- \infty}^{\infty} f(x, y) \mathrm{d}x$