时间：2018-08-27 作者：魏文应

一、说明

本章节中， 粗体的 表示向量，常规字体的 表示一个数。

二、矩阵运算

什么是矩阵

把一些数，排列起来放置，组成数表，比如下面这个就是 m 行 n 列的矩阵：

元素 是矩阵A 的第 行 列。

矩阵加法

、 两个矩阵相加，需要这两个矩阵为 同型矩阵（同为 m x n 矩阵），相对应元素相加即可：

数与矩阵相乘

数 与 矩阵 的乘积：

矩阵和矩阵相乘

先举个例子：

矩阵 是一个 矩阵，矩阵 是一个 矩阵。两个矩阵相乘 得到一个 矩阵 ：

这就是 矩阵和矩阵相乘。从中我们可以看到，矩阵相乘 和 是不一样的。相乘的前提条件是，前一个矩阵列 数要和后一个矩阵的行 数相等。

三、超平面

超平面，是因为机器学习的几何模型需要超平面这个概念，几何模型的决策面就是一个超平面。至于什么是几何模型、什么是决策面，我们后面再说。我们先从数学角度上看超平面。

有些平面画不出来

由于人眼睛感知的限制，我们只能看到空间的维数 ，比如：一维点 ，二维点 ， 三维点 ，这些点我们可以用 笛卡尔直角坐标系 表示出来，直观看到。等维数 以后，人就不能直观地观察到了。但我们依然沿用这种几何的说法，比如 我们依然可以叫做点。

向量空间

向量 应该都知道，比如平面坐标系中的向量 、三维坐标系中的向量 。在几何中，我们把 “既有大小又有方向的量” 叫做 向量 。现实世界中，我们把空间看做是由一个一个点组成的，这样的空间叫做 点空间 。 维向量的全体组成的集合，叫做 维向量空间，表示如下：

表示实数范围内。也就是说， 表示一些点，把所有的点放在一起，构成的集合，这样的集合，给它取个名字，叫做 维向量空间。在几何上，二维向量空间 是平面空间，三维向量空间 是三维立体空间。我们知道，在三维空间中，可以用 作为一个基本向量， 就可以表示三维空间中的任意向量了。 维向量空间 中：

• 。
• 之间线性无关。
• 向量空间 中任意向量，都可以用 表示。

这样的向量组 叫做 向量空间的基 。此外，下面向量空间：

这个向量空间，数域F 是在 实数R范围内，所以叫做 元实坐标向量空间。相对的，如果数域F是 复数C，那么就叫做 元复坐标向量空间。

线性空间

向量空间，也叫做 线性空间 。向量空间是从几何学的角度去描述，因为向量空间是能够满足线性运算的，所以也叫做线性空间，一般用 表示线性空间。满足下面8个运算规则的运算，称为 线性运算：

• ；
• ；
• 在空间 存在 **零元素 ， 对任何 ， 都有 ；
• 对于任何 ,都有 的 负元素 ，使得 ；
• ；
• ；
• ；
• ；

一般情况下，我们认为向量空间指的就是线性空间，两个名称等价，意思一样。线性空间更加抽象化而已。 维线性空间 记为 。如果 为 的一个 基，线性空间 可以表示为：

我们可以说这个线性空间 ，是由基 生成的线性空间。有些时候，还叫做由基 张成的线性空间 。在向量空间，我们说过 实向量空间，也就是 实线性空间。

子空间

先举个例子：平面 是 的子集，而且 也是一个线性空间，称 是 的 线性子空间。我们知道了，在数域 上 的线性空间 ,可以看成是由无数点的集合构成的。我们选择其中一些点，这些点构成的集合 是 线性空间 的子集，这个集合S要 满足封闭性，即：

• ，都有 。
• ，都有 。

这个线性空间 就叫做线性空间V的 线性子空间 。 上面 符号意思是 任意，也就是 “对于任意 ” 的意思。符号 是 属于 的意思。

超平面

高中我们就知道， 可以在平面上表示一条线， 可以在三维空间上表示一个面。推广到 维向量空间，无论是线还是面，我们都把它叫做 面 。我们可以把面看做是由无数点组成的：

上面这个向量集合，由这个集合中的无数个点组成 维向量空间的一个面，这个面，就叫做 维向量空间中的 维超平面。为什么是 维 呢？ 2维空间（2D）中， 表示的是几何中的直线，线是1维的。3维空间（3D）中， 表示的是几何中的面，面是2维的。你会发现，直线可以把平面分开两半，平面可以把空间分成两半。这就说明它可以分类，在机器学习的分类问题就会用到。

超平面

四、向量运算

数量积（内积）

高中，我们就学过： 。这个就是二维空间中，平面向量的数量积（内积）。引入坐标系以后，向量 和向量 数量积就是：

而且向量 和向量 互相垂直 时，有下面公式：

后来我们把数量积推广到了三维空间，对于向量 和 向量 ，数量积就是：

如果 ，那么称这个向量 是 平面 的 法向量。如果有一个空间平面，平面方程如下：

那么它的法向量就是 ，解释如下：

设向量 是 平面 的 法向量， 并且和平面 交于点 。平面 上的向量均可表示为：，因为向量 与向量 垂直，所以：

整理得：
可见，标准方程中，三个未知数的 系数所组成的向量 ，就是平面的一个 法向量。

前面讲的，是二维空间和三维空间，将 内积计算 推广到 维空间：

内积空间

我们先说什么是 内积。上面我们说，在解析几何中，设 、，它的内积：

上面公式中，我们规定了一种规则，让两个 向量相乘，得到一个 实数。可以这么说吧，这种规则是 根据自己的需求自定义的 。如果你规定 也是可以的，只要满足你的实际需求就可以了。比如上面，解析几何中的 之所以等于 ，是根据对应的实际物理意义定义的，如 是两个向量的夹角， 是向量的模等等 。这样的规则太随意，我们希望对这个生成规则做一些限制。比如下面规定：

设 是实数域 上的 线性空间， ， 给定 某种规则，使 与 对应于 一个实数，记为 ， 且满足下列条件:

• 
• 
• 
• ，当且仅当 时，

满足上面的实数 称为向量 和 的 内积 。其中，， 。

定义了内积的 实线性空间 ，叫做 欧几里德空间。简称 欧氏空间 或者 实内积空间。而对于内积空间中，推广到复数的 复内积空间，这里我们不讨论。我们用得比较多的是 标准内积：

在 维向量空间 中，对于 ， ，我们规定：

这个内积，就称为 上的 标准内积。可以这么说， 使用上述内积构成 维欧氏空间。

范数

先看范数的定义：

令 V 是复向量空间。函数 ： 称为向量 的 范数 。

什么意思呢？意思就是将一个 向量 计算以后得到一个 实数，至于你怎么计算，你想怎么算都行。我们来例子。令向量 ，对于这个向量，你可以这么计算：

也可以这么算（ 绝对值符号， 的绝对值）：

总之你开心就好。但是为了是范数使用起来有意义，范数规定：

• （非负性）
• ，当且仅当 （正性）
• ， 对所有复常数 成立。 （齐次性）
• （三角不等式）

满足上面条件的函数，称为 范数 。如果不满足第二条：正性，则称为 向量 的半范数 。我们可能会用到下面范数， 范数 （也叫做 和范数 或者 1范数）：

上面等号的 def 是 define 的缩写，意思是 定义 。而下面的 范数 ，也叫做 欧几里德范数 ，我们勾股定理，就是当向量 的范数为 求得的。你会发现，L2范数可以求空间中两点之间的距离。 范数 如下：

下面是 范数（上面 和 范数，就是 和 的情况）：

而 范数 （无穷范数或者极大范数）：

上面各种范数说明了，向量 的范数，只是一个转换函数而已，由一个向量得到一个数，这种转换根据现实需求而定。比如空间中的点的坐标 ，它到原点的距离就是：

上面这个，就是向量 的 范数。我们原来是一个向量 的形式，经过函数 映射关系，得到一个实数 。这个函数 就可以称为 向量 的范数。

五、参考书籍

• 《线性代数（第五版）》- 同济大学 。
• 《矩阵分析与应用》- 张贤达 。