奇异值分解的几何意义阐述

对角矩阵是我们最喜欢的一类矩阵，因为给定一个对角阵立即就可以得到它的特征值，行列式，幂和指数函数等等

而一个 $n$ 阶的方阵相似于对角阵当且仅当它存在着 $n$ 个线性无关的特征向量。

特征值分解 $A_{n \times n}=Q \Lambda Q^{-1}$ ， $A \mathbf{v}_{i}=\lambda_{i} \mathbf{v}_{i}$

其中 $Q=\left(\mathbf{v}_{1} \cdots \mathbf{v}_{n}\right)$ $\text { s.t. } Q^{\top} A Q=\Lambda=\operatorname{diag}\left(\lambda_{1}, \cdots, \lambda_{n}\right)$ 是 $A$ 的特征向量组成的正交矩阵

正交矩阵受到关注是因为求逆的代价小 $Q^T=Q^{-1}$

上面 $A_{n \times n}$ 为实对称矩阵，那么矩阵 $A_{m \times n}$ 如何“对角化”？

$AA^T$ 与 $A^TA$

设实矩阵 $A_{m \times n}$ 的秩为 $r$ ，则 $AA^T$ 为 $m$ 阶实对称矩阵， $A^TA$ 为 $n$ 阶实对称矩阵

设 $A^{T} A \mathbf{x}=\lambda \mathbf{x}(\mathbf{x} \neq \mathbf{0})$ ，则 $\mathbf{x}^TA^{T} A \mathbf{x}=\lambda \mathbf{x}^T \mathbf{x}$ ，

即 $\|A \mathbf{x}\|^{2}=\lambda\|\mathbf{x}\|^{2}$

故 $\lambda\geq 0$ 。 $A^{T} A$ 的特征值都是非负数，同理 $AA^T$ 的特征值也都是非负数

矩阵的行秩与列秩相等

秩=列向量个数，称为列满秩。秩=行向量个数，称为行满秩。

因为 $r\left(A A^{T}\right)=r\left(A^{T} A\right)=r(A)=r(A^T)=r$ ，所以 $AA^T$ 非零特征值的数量 $=r=$ $A^TA$ 非零特征值的数量

设 $\lambda$ 是 $A^TA$ 的非零特征值。即 $\exists \mathbf{x} \neq0$ ，使得 $A^{T} A \mathbf{x}=\lambda \mathbf{x}$

则有 $A A^{T} A \mathbf{x}=\lambda A \mathbf{x}$ 。故 $\lambda$ 也是 $A A^{T}$ 的非零特征值

因此 $AA^T$ 与 $A^TA$ 具有相同的非零特征值

从上面证明看出 $AA^T$ 和 $A^TA$ 的这 $r$ 个非零特征值为 $\sigma_{1}^{2} \geq \cdots \geq \sigma_{r}^{2}>0$ ，其中 $\sigma_{i}>0$

设 $V=\left(\mathbf{v}_{1} \cdots \mathbf{v}_{n}\right) \in \mathbb{R}^{n}$ 为 $n$ 阶实对称方阵 $A^TA$ 的单位正交特征向量，则 $V^TV=I_{n}$

$A^{T} A\left(\mathbf{v}_{1} \cdots \mathbf{v}_{n}\right)=\left(\mathbf{v}_{1} \cdots \mathbf{v}_{n}\right)\left(\begin{array}{cccc}{\sigma_{1}^{2}} & {} & {} & {} \\{} & {\ddots} & {} & {} \\{} & {} & {\sigma_{r}^{2}} \\{} & {} & {} & {0}\end{array}\right)$

注意到 $A^{T} A \mathbf{v}_{i}=\sigma_{i}^{2} \mathbf{v}_{i}$ $(1 \leq i \leq r)$ ，

故 $(\mathbf{v}_{i}^{T} A^{T}) A \mathbf{v}_{i}=\sigma_{i}^{2} (\mathbf{v}_{i}^{T} \mathbf{v}_{i})$ ，即 $\left\|A \mathbf{v}_{i}\right\|^{2}=\sigma_{i}^{2} \rightarrow |A \mathbf{v}_{i}| = \sigma_{i}$

令 $\mathbf{u}_{i}=\frac{A \mathbf{v}_{i}}{\sigma_{i}} \in \mathbb{R}^{m}$ $(1 \leq i \leq r)$ ，则 $AA^{T} \mathbf{u}_{i}=\sigma_{i}^{2} \mathbf{u}_{i}$ ，

并且 $\mathbf{u}_{i}^{T} \mathbf{u}_{j}=\frac{\left(A \mathbf{v}_{i}\right)^{T}}{\sigma_{i}} \frac{A \mathbf{v}_{j}}{\sigma_{j}}=\frac{(\mathbf{v}_{i}^{T}A^{T} )A \mathbf{v}_{j}}{\sigma_{i} \sigma_{j}}$ $=\frac{\sigma_{j}^{2} (\mathbf{v}_{i}^{T} \mathbf{v}_{j})}{\sigma_{i} \sigma_{j}}=\frac{\sigma_{j}}{\sigma_{i}} \delta_{i j}=\delta_{i j}$

故 $\left\{\mathbf{u}_{i} | 1 \leq i \leq r\right\}$ 是 $AA^{T}$ 的单位正交特征向量

（1） $\mathbf{u}_{i}=\frac{A \mathbf{v}_{i}}{\sigma_{i}} \in \mathbb{R}^{m}(1 \leq i \leq r) \rightarrow A \mathbf{v}_{i}=\sigma_{i} \mathbf{u}_{i}$

（2） $A^{T} A \mathbf{v}_{i}=\sigma_{i}^{2} \mathbf{v}_{i},(i \leq i \leq r) \rightarrow A^{T} \frac{A \mathbf{v}_{i}}{\sigma_{i}}=\sigma_{i} \mathbf{v}_{i} \rightarrow A^{T} \mathbf{u}_{i}=\sigma_{i} \mathbf{v}_{i}$

由上式子得： $U$ 是 $A$ 列空间的一组单位正交基 $U^{T} U=I_{m}$ ， $V$ 是 $A^T$ 的列空间的一组单位正交基 $V^{T} V=I_{n}$ 。 $σ_{i}$ 是 $A \mathbf{v}_{i}$ 的长度，计 $\left(\begin{array}{cccc}{\sigma_{1}} & {} & {} & {} \\{} & {\cdot} & {} & {} \\{} & {} & {\cdot} & {} \\{} & {} & {} & {} & {\sigma_{r}}\end{array}\right)$ 为 $Σ$ ，得：

$A_{m \times n} V_{n \times r}=U_{m \times r} \Sigma_{r \times r}$

$A_{m \times n}=U_{m \times r} \Sigma_{r \times r} V^{-1}_{r \times n}$ $=U_{m \times r} \Sigma_{r \times r} V^{T}_{r \times n}$

$\mathbb{R}^{n}=C\left(A^{T}\right) \oplus N(A)$ ， $\mathbb{R}^{m}=C(A) \oplus N\left(A^{T}\right)$

$A(\overbrace{\underbrace{\mathbf{v}_{1} \cdots \mathbf{v}_{r}}_{C(A^{T})} \underbrace{\mathbf{v}_{r+1} \cdots \mathbf{v}_{n}}_{N(A)}}^{V_{n \times n}})$ $=(\overbrace{\underbrace{\mathbf{u}_{1} \cdots \mathbf{u}_{r}}_{C(A)} \underbrace{\mathbf{u}_{r+1} \cdots \mathbf{u}_{n}}_{N(A^T)}}^{U_{m \times m}})$ $\overbrace{\left(\begin{array}{cccc}{\sigma_{1}^{2}} & {} & {} & {} \\{} & {\ddots} & {} & {} \\{} & {} & {\sigma_{r}^{2}} \\{} & {} & {} & {0}\end{array}\right)}^{Σ_{m \times n}}$

$A_{m \times n} V_{n \times n}=U_{m \times m} \Sigma_{m \times n}$

SVD几何意义

最后编辑于：2023.09.20 08:55:42

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 199,340评论 5赞 467
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 83,762评论 2赞 376
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 146,329评论 0赞 329
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 53,678评论 1赞 270
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 62,583评论 5赞 359
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 47,995评论 1赞 275
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 37,493评论 3赞 390
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,145评论 0赞 254
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,293评论 1赞 294
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,250评论 2赞 317
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,267评论 1赞 328
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 32,973评论 3赞 316
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,556评论 3赞 303
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,648评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 30,873评论 1赞 255
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 42,257评论 2赞 345
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 41,809评论 2赞 339

奇异值分解的几何意义阐述

推荐阅读更多精彩内容