病态矩阵：
求解方程组时如果对数据进行较小的扰动，则得出的结果具有很大波动，这样的矩阵称为病态矩阵。
病态矩阵是一种特殊矩阵。指条件数很大的非奇异矩阵。病态矩阵的逆和以其为系数矩阵的方程组的界对微小扰动十分敏感，对数值求解会带来很大困难。
判定矩阵是否病态以及衡量矩阵的病态程度通常是看矩阵A的条件数K(A)的大小
K(A) 称为 A 的条件数，它很大时，称 A 为病态，否则称良态； K(A) 愈大， A 的病态程度就愈严重。
对于最小二乘法来说：
正则化线性回归：
向量的范式：L1范式，L2范式。。
L2正则化
（约束范围是圆形）
：
L2正则化即是在最小二乘法的基础上，加1个对系数的”惩罚项“，为了方便计算所以加上的是L2-norm的平方，这时候损失函数就为
从梯度下降的角度来说：
从最小二乘法的角度来说：
因此，
其中，RR为岭回归，LS为最小二乘法
L1正则化（约束范围是正方形）：
把无关的维度系数置为0，使得模型更为简单。
此时损失函数变为：
