内积空间与Hilbert空间

内积空间是一种特殊的赋范空间，从泛函分析发展的历史上看，人们首先注意到的是内积空间而不是赋范空间。

内积空间特别是 $Hilbert$ 空间（完备的内积空间）是对 $N$ 维欧氏空间最自然的“推广”，推广到无穷维空间（存在收敛性问题）。他们具有与欧氏空间十分相近的性质。

$Hilbert$ 空间迄今为止仍然是应用最广泛的一类空间。

在内积空间和 $Hilbert$ 空间中使用的“几何”概念和术语，与欧几里得几何中的语言相似，它是由E.Schimidt在1908年引入的。

内积空间的基本性质

内积空间的定义

在 $\mathbb R^2$ 中可以定义距离、范数、内积这些概念，设 $a=(a_1,a_2), b = (b_1,b_2) \in \mathbb R^2$ ，其内积定义为：
$(a,b) = a_1b_1 + a_2b_2$

于是我们有：

$\left\| a \right\| = \sqrt {( {a,a} )} = \sqrt {a_1^2 + a_2^2}$

$\cos \left( {a,b} \right) = \frac{{\left( {a,b} \right)}}{{\left\| a \right\|\left\| b \right\|}}$

$a \bot b \Leftrightarrow \left( {a,b} \right) = 0$

定义1： $H$ 是数域 $\mathbb K$ 上的线性空间，如果对于任意 $x,y \in H$ ，有 $\mathbb K$ 中的一个数 $(x,y)$ 与它们对应，使得对任意的 $x,y \in H， \alpha \in \mathbb K$ ，满足：

$(x,x) \geqslant 0; (x,x) = 0$ 当且仅当 $x=0$ （正定性）；
$(x,y) = \overline {\left( {y,x} \right)}$ （共轭对称性）；
$(\alpha x ,y)= \alpha(x,y)$ ；
$(x+y,z) = (x,z) + (y,z)$ 。

则称 $(\cdot, \cdot)$ 是 $H$ 上的一个内积，定义了内积的线性空间 $H$ 称为内积空间。

注1： $(x,y)$ 是一个二元函数，对于每一个固定的 $y \in H, (x,y)$ 是 $H$ 上的一个线性函数（线性泛函）。（因为满足3. 4. 两条）

由内积生成的范数

在内积空间中，希望定义元素的范数 $\left\| x \right\|$ ，且
$\left\| x \right\| = \sqrt{(x,x)}$

定理4：（Schwarz不等式）
设 $H$ 是内积空间，对于 $\forall x,y \in H$ 有
$\left\| (x,y) \right\|^2 \leqslant (x,x)(y,y)$

定理6：每个内积空间 $H$ 按范数 $\left\| x \right\| = \sqrt{(x,x)}$ 成为一个赋范空间。

注：内积空间中定义了范数，由范数又可以定义距离，这样就有了收敛性等距离空间中所具有的性质。

由 $Schawarz$ 不等式我们还可以得到：

定理7：设 $H$ 是内积空间，则内积 $(x,y)$ 是关于 $x,y$ 的连续函数，即当 $x_n \to x, y_n \to y$ 时（ $x_n , y_n$ 是点列）
$(x_n, y_n) \to (x,y) \;\;\;(n \to \infty)$

内积和由其生成范数之间的关系

平行四边形法则：平行四边形对角线平方和等于其四条边平方和
$\left\| x+y \right\|^2 + \left\| x-y \right\|^2 = 2(\left\| x \right\|^2 + \left\| y \right\|^2)$

特别地，在有了正交性的概念以后，平行四边形法则也成为了勾股定理。

注：由内积可定义一个范数 $\Rightarrow$ 内积空间必定是一个赋范空间。再由范数诱导出的距离 $\Rightarrow$ 又可以成为一个距离空间。

极化恒等式

这是内积空间的特征性质。

完备的内积空间

定义12：完备的内积空间称为 $Hilbert$ 空间

内积空间是否完备是指由内积产生的赋范空间是否完备，即距离空间中的 $Cauchy$ 列是否都收敛。

定理13：一个完备空间的闭子空间也是完备的。

注：空间是否完备是由全体 $Cauchy$ 列是否都收敛决定的。由距离空间完备化定理，任何一个内积空间 $X$ 都可以完备化（因为内积空间也是一个距离空间），即：不完备的内积空间 $X$ ，可以完备成一个 $Hilbert$ 空间 $H$ ， $X$ 等距同构于 $H$ 中的一个稠子集。

正交与正交分解

正交的定义

定义1：设 $X$ 是内积空间， $x,y \in X$ ，若 $(x,y)=0$ ，则称 $x$ 与 $y$ 正交，记为 $x \bot y$ 。

元素正交于集合：
定义3：设 $X$ 是内积空间， $M \subset X, x \in X$ ，如果对任意的 $y \in M$ ，有 $(x,y) = 0$ ，则称 $x$ 正交与 $M$ ，记为 $x \bot M$ 。

集合与集合正交：
定义4： 设 $X$ 是内积空间， $M$ 和 $N$ 是 $X$ 中的两个子集，如果对于任意的 $x \in M, y \in N$ ，有 $(x,y) = 0$ ，则称 $M$ 正交于 $N$ ，记为 $M \bot N$ 。

正交补集

定义5：设 $M$ 是内积空间 $X$ 的子集，则 $X$ 中所有与 $M$ 正交的元素组成的集合称为 $M$ 的正交补，记为 $M^\bot$ 。

$M^\bot = \left\{ {y \in X | (x,y)= 0, \forall x \in M} \right\}$

定理7：设 $X$ 是内积空间， $M$ 是 $X$ 的任意子集，则 $M^\bot$ 是 $X$ 中的闭子空间。

注： $M$ 是 $X$ 的子集， $M$ 不一定是子空间，但是 $M^\bot$ 是 $X$ 的闭子空间。
子空间指的是集合内元素的线性组合仍属于该集合则称为是子空间。闭指的是对极限运算是封闭的，取极限后仍在空间里面。

定理8：设 $M$ 是内积空间 $X$ 的一个线性子空间，则 $x \in M^\bot$ 当且仅当对 $\forall y \in M$ ，有 $\| x-y\| \geqslant \| x \|$ 。

最佳逼近

在前一章节中我们定义了一点 $x$ 到一个集合 $A$ 的距离 $d(x,A)$ ：
$d(x,A) = \inf \left\{ {d(x,y) | y \in A} \right\}$

如果存在点 $x_0 \in A$ ，使得：
$\| x- x_0 \| =d(x,A)$

则称 $x_0$ 是 $x$ 在集合 $A$ 中的最佳逼近点。即 $x_0$ 是集合中与 $x$ “最接近的点”。
下确界就是距离都大于等于这个值，即距离能取到的最小值。

在 $Hilbert$ 空间，最佳逼近的问题相对比较简单。

在实际问题中，集合 $A$ 一般是一个需要搜索的空间（ $A$ 也可能是个全空间），我们要在这个空间中找到一个点 $x_0$ （空间 $A$ 中包含无数多个点）使得 $x_0$ 与我们给定的真实值之间的距离最短。

首先引进严格凸的概念：
定义9：一个赋范空间 $X$ 称为严格凸的，如果对于任意的 $x,y \in X , x \ne y$ ，并且 $\| x \| =\| y\| =1$ （即单位向量），都有

$\| \alpha x + \beta y \| < 1\;\;\; (\forall \alpha , \beta >0, \alpha + \beta=1)$

注： $\alpha x + \beta y$ 为任意凸组合。

定理10：内积空间是严格凸的赋范空间。（其他的赋范空间可能不是严格凸的）

对于严格凸的 $Hilbert$ 空间，我们有
定理11：设 $M$ 是 $Hilbert$ 空间 $H$ 中的非空闭凸集，则对于任意的 $x \in H$ ，存在唯一的最佳逼近点 $x_0 \in M$ ，使得
$\| x- x_0 \| =d(x,M) = \inf \left\{ { \| x - y\| | y \in M} \right\}$

注：闭的保证了存在性，凸集保证了唯一性。

$Hilbert$ 空间的正交分解

定理12（正交分解定理）：设H是 $Hilbert$ 空间， $M$ 是 $H$ 中的闭子空间，则对于任意的 $x \in H$ ，存在唯一的 $x_0 \in M$ 以及 $y \in M^\bot$ ，使得
$x = x_0 + y$

并且
$\| x \|^2 =\| x_0 \|^2 +\| y \|^2$

注1： $M$ 是 $H$ 的真闭线性子空间，

$\forall x \in H$ ，存在唯一的 $x_0 \in M$ 使得 $x = x_0 + y$ ，这里 $x_0 \in M，y \in M^\bot$ .
$x_0$ 是 $x$ 在 $M$ 上的投影；
$x_0$ 是 $x$ 在 $M$ 中最佳逼近点， $(x-x_0) \bot M$ . $H = M \oplus M^\bot$ ，其中 $\oplus$ 表示两个子空间的正交直接和。

最佳逼近，正交分解

正交系和正交投影

在 $n$ 维欧氏空间，选定 $n$ 个相互正交的向量 $\left\{ { e_1, e_2, \cdots , e_n } \right\}$ ，则形成 $n$ 维空间中的一组正交基，即在空间中建立了一组正交坐标系。

空间中任意一个元素都可以由这组坐标的线性组合表示：
$x = \alpha_1 e_1 +\alpha_2 e_2 + \cdots + \alpha_n e_n$

其中， $\alpha_i = (x, e_i)$ 是 $x$ 在 $e_i$ 上的投影。并且向量的长度：
$\left\| x \right\| = {\left( {\sum\limits_{i = 1}^n {{{\left| {\left( {x,{e_i}} \right)} \right|}^2}} } \right)^{\frac{1}{2}}}$

内积空间中的正交系

先给出正交系和标准正交系的概念：
定义1：设 ${\left\{ {{x_\alpha }} \right\}_{\alpha \in I}}$ 是内积空间 $X$ 中的非零元素组成的集合。如果当 $\alpha \ne \beta$ 时， $(x_\alpha , x_\beta)=0$ ，则称 ${\left\{ {{x_\alpha }} \right\}_{\alpha \in I}}$ 是 $X$ 中的一个正交系。若 $\left\|{x_\alpha } \right\| = 1, \forall \alpha \in I,$ 称 ${\left\{ {{x_\alpha }} \right\}}$ 是一个标准正交系。

正交投影

定理5：设 $\left\{ {{e_k}} \right\}_{k = 1}^n$ 是内积空间 $X$ 中的标准正交系， $x \in X, a_1, \cdots,a_n$ 是 $n$ 个数，当且仅当 $a_k = (x, e_k) (k =1,2, \cdots , n)$ 时，
$\| {x - \sum_{k=1}^n{a_ke_k}}\|$

取得最小值。

注1： ${x - \sum_{k=1}^n{{(x, e_k)}e_k}}$ 和 $\left\{ { e_1, e_2, \cdots , e_n } \right\}$ 张成的子空间 $M$ 正交。

注2：称 ${x_0 =\sum_{k=1}^n{{(x, e_k)}e_k}}$ 为 $x$ 在 $M$ 上的投影， $x$ 到 $M$ 的距离为 $\| x - x_0 \|$ 。

Fourier 级数（分解）

定义8：设 $\left\{ {{e_n}} \right\}_{n = 1}^\infty$ 是内积空间 $X$ 中的标准正交系，对于 $x \in X$ ，我们称
${\sum_{n=1}^\infty{{(x, e_n)}e_n}}$

为 $x$ 关于 $\left\{ {{e_n}} \right\}$ 的Fourier级数， $(x, e_n)$ 为Fourier系数，即 $x$ 在 $\{ {e_n} \}$ 上的正交投影。

Bessel 不等式和 Fourier 级数的收敛性

一般来说，内积空间中的正交系 ${\left\{ {{x_\alpha }} \right\}_{\alpha \in I}}$ 可能是不可数集，下面仅讨论由可数（可列）多个元素组成的正交系。

定理9（Bessel 不等式）：设 $\left\{ {{e_n}} \right\}_{n = 1}^\infty$ 是内积空间 $X$ 中的标准正交列，则对于任意的 $x \in X$ ，有
$\sum\limits_{k = 1}^\infty {{{\left| {\left( {x,{e_i}} \right)} \right|}^2} \leqslant } {\left\| x \right\|^2}$

注：与标准正交列相对应的Fourier系数（坐标）是平方可和的，其和小于或等于 ${\left\| x \right\|^2}$ 。

定理10：设 $\left\{ {{e_n}} \right\}_{n = 1}^\infty$ 是内积空间 $X$ 中的标准正交列，则对于任意的 $x \in X$ ，有
$(x, e_n) \to 0 (n \to \infty)$

由正项级数收敛的必要条件可知。

正交基和正交列的完备性

正交基

定义3：设 ${\left\{ {{x_\alpha }} \right\}_{\alpha \in I}}$ 是 $X$ 中的正交系，如果它张成的子空间的闭包是全空间 $X$ ，则将 ${\left\{ {{x_\alpha }} \right\}_{\alpha \in I}}$ 称为是 $X$ 的正交基。

正交列的完备性

定义6：设 $X$ 是内积空间， $\left\{ {{e_n}} \right\}$ 是 $X$ 中的标准正交列， $x \in X$ 。若
${\sum\limits_{i = 1}^\infty {{{\left| {\left( {x,{e_i}} \right)} \right|}^2}} = {\left\| x \right\|^2}}$

称 $x$ 关于 $\left\{ {{e_n}} \right\}$ 的 Parseval 等式成立。
如果对于任意的 $x \in H$ ， Parseval 等式成立，则称 $\left\{ {{e_n}} \right\}$ 是完备的。

注1：在二维欧氏空间中，Parseval 等式就是勾股定理。

注2：在 $Hilbert$ 空间中， $x$ 关于 $\left\{ {{e_n}} \right\}$ 的 Fourier 级数收敛到 $x$ ，当且仅当 $x$ 关于 $\left\{ {{e_n}} \right\}$ 的 Parseval 等式成立。

可分的Hilbert空间

线性无关组的正交化算法

利用 Gram-Schmidt 正规正交化算法找到一组标准正交列。

正规正交化算法

可分的 $Hilbert$ 空间与 $l^2$ 等距同构

空间可分指的是空间中存在可数稠密子集。

定理1：一个无穷维的 $Hilbert$ 空间一定包含一个标准正交列。

当内积空间完备时，我们有：
定理3： $H$ 是一个 $Hilbert$ 空间，则 $H$ 可分，当且仅当 $H$ 中具有至多可数（可列）的标准正交基 $S$ 。
如果 $S$ 中元素个数 $N < \infty$ ，则 $H$ 等距同构于 $\mathbb{K}^N$ ， $\mathbb{K}$ 是线性空间的数域；
如果 $N = \infty$ ，则 $H$ 等距同构于 $l^2$ 空间。

注：任何一个无穷维可分的 $Hilbert$ 空间都可以表示为“坐标形式”的 $l^2$ 空间，即可分的内积空间中的每个元素都与一组由可数（可列）无穷有序数组组成的坐标一一对应。

最后编辑于：2019.11.21 14:04:51

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 194,491评论 5赞 459
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 81,856评论 2赞 371
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 141,745评论 0赞 319
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 52,196评论 1赞 263
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 61,073评论 4赞 355
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 46,112评论 1赞 272
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 36,531评论 3赞 381
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 35,215评论 0赞 253
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 39,485评论 1赞 290
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 34,578评论 2赞 309
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 36,356评论 1赞 326
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 32,215评论 3赞 312
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 37,583评论 3赞 299
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 28,898评论 0赞 17
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 30,174评论 1赞 250
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 41,497评论 2赞 341
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 40,697评论 2赞 335