矩阵范数
定义
一个在m×n的矩阵上的矩阵范数(matrix norm)是一个从m×n线性空间到实数域上的一个函数，记为||●||，它对于任意的m×n矩阵A和B及所有实数a，满足以下四条性质：
||A||>=0;
||A||=0 iff A=O （零矩阵）; （1和2可统称为正定性）
||aA||=|a| ||A||; （齐次性,a是常数）
||A+B||<= ||A|| + ||B||. （三角不等式）
注：在矩阵相关概念中，模、范数、距离三者相等。
Frobenius范数
简记：可看成矩阵的所有元素的平方相加求和后开方。
向量范数
1-范数
简记：所有列向量的模的和。
2-范数
简记：所有列向量的模的平方求和后再开方。
∞-范数
简记：所有列向量的模当中的最大值。
伪逆矩阵
奇异矩阵的逆矩阵就是伪逆矩阵。
存在一个唯一的矩阵M使得下面三个条件同时成立：
(1)AMA=A;
(2)MAM=M;
(3)AM与MA 均为对称矩阵。
这样的矩阵M成为矩阵A的Moore-Penrose广义逆矩阵，记作
伪逆矩阵的求解：
① 直接求解：
求导，令导数为0，结果如下: InvA=(ATA)-1AT
% 直接求伪逆
InvA = inv(A'A)A';
② SVD求解:
%% SVD分解求伪逆
% 原理和公式：1. SVD分解得到的矩阵:U和V是正交阵，S是对角阵
% 2. 正交阵的逆=转置
% 3. 对角阵的逆=非零元素求倒
% Step1: 求解A的SVD分解
[U,S,V] = svd(A); % A = USV'
% Step2: 将S中的非零元素求倒
T=S;
T(find(S~=0)) = 1./S(find(S~=0));
% Step3: 求invA
svdInvA = V * T' * U';
③ QR求解:
%% QR分解求伪逆
% 适用于稀疏矩阵
% 原理和公式：1. QR分解得到的矩阵:Q是正交阵，R是非奇异上三角阵
% 2. 正交阵的逆=转置
% 3. 上（下）三角矩阵的逆也仍然是上（下）三角矩阵。不必用高斯消去法，向前替换法解方程。
%这里使用了matlab的函数。
[Q,R] = qr(A);
InvR = inv(R'R)R';
qrInvA =InvR*Q';
对函数矩阵求微分
