svd在求解最小二乘中的应用
文章目录
- 线性最小二乘的直接解法（正规方程解法）
- 什么是伪逆？
- 伪逆矩阵的一般形式
- 伪逆矩阵与SVD的关系
线性最小二乘的直接解法（正规方程解法）
对于 A x = b \boldsymbol{A}x=b Ax=b的线性最小二乘问题，有直解析解： x = ( A T A ) − 1 A T b x=(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}b x=(ATA)−1ATb
什么是伪逆？
对于正方形满秩矩阵而言存在逆矩阵，但是对于非正方形矩阵（行列数量不等）或者秩亏矩阵而言，若 A + A^{+} A+满足以下四个条件：
A A + A = A . A A^{+} A=A \text {. } AA+A=A.
A + A A + = A + . A^{+} A A^{+}=A^{+} \text {. } A+AA+=A+.
( A A + ) T = A A + . \left(A A^{+}\right)^T=A A^{+} . (AA+)T=AA+.
( A + A ) T = A + A \left(A^{+} A\right)^T=A^{+} A (A+A)T=A+A
则称 A + A^{+} A+为矩阵 A A A的伪逆矩阵，也称为Moore–Penrose 逆矩阵。
伪逆矩阵的一般形式
- 当 A A A 是列满秩矩阵时有：
A + = ( A T A ) − 1 A T . A^{+}=\left(A^T A\right)^{-1} A^T \text {. } A+=(ATA)−1AT.
此时称为左伪逆矩阵，此时满足 A + A = I A^{+} A=I A+A=I.
- 当 A A A 是行满秩矩阵（秩亏）时有：
A + = A ∗ ( A A ∗ ) − 1 . A^{+}=A^*\left(A A^*\right)^{-1} \text {. } A+=A∗(AA∗)−1.
此时称为右伪逆矩阵，此时满足 A A + = I A A^{+}=I AA+=I.
可以发现伪逆的一般形式与线性最小二乘的直接解法形式相同（二者相差右乘系数b）
伪逆矩阵与SVD的关系
由 A A A 的奇异值分解性质可知： ( A T A ) V = Σ 2 V 得： ( A T A ) = V Σ 2 V − 1 \left(A^T A\right)V=\Sigma^{2}V得： \left(A^T A\right)=V\Sigma^{2}V^{-1} (ATA)V=Σ2V得：(ATA)=VΣ2V−1
因为： A T = ( V T ) T Σ T U T = V Σ T U T A^{\mathrm{T}}=\left(V^{\mathrm{T}}\right)^{\mathrm{T}} \Sigma^{\mathrm{T}} U^{\mathrm{T}}=V \Sigma^{\mathrm{T}} U^{\mathrm{T}} AT=(VT)TΣTUT=VΣTUT.
U , V U,V U,V为正交矩阵，所以：
U T = U − 1 , V T = V − 1 U^T=U^{-1},V^T=V^{-1} UT=U−1,VT=V−1
- 当 A A A 是列满秩矩阵时（参数数量小于方程数量，此时有最小二乘解）有：
A + = ( A T A ) − 1 A T = ( V Σ 2 V − 1 ) − 1 V Σ U − 1 = V Σ − 1 U T A^{+}=\left(A^T A\right)^{-1} A^T =(V\Sigma^{2}V^{-1})^{-1}V \Sigma U^{-1} =V \Sigma^{-1} U^{T} A+=(ATA)−1AT=(VΣ2V−1)−1VΣU−1=VΣ−1UT
可以发现：利用SVD分解可以求解线性最小二乘问题。此外可以发现 Σ \Sigma Σ(奇异值)对于解的稳定性（是否是病态方程组）至关重要。特别地，当 A A A为满秩方阵时，奇异值最大值与最小值的比值为矩阵 A A A的条件数，条件数反应了矩阵 A A A元素对方程解稳定性的影响程度。
参考
1
《线性代数及其应用》7.4
2
3
4
华东师范大学：第三讲线性最小二乘问题