数值分析复习：逼近理论的应用——最小二乘问题、解超定、欠定方程组
文章目录
- 逼近理论的应用——最小二乘问题、解超定、欠定方程组
- 离散平方逼近
- 最小二乘解
本篇文章适合个人复习翻阅，不建议新手入门使用
本专栏：数值分析复习 的前置知识主要有：数学分析、高等代数、泛函分析
逼近理论的应用——最小二乘问题、解超定、欠定方程组
离散平方逼近
设全空间 X = R n X=\mathbb{R}^n X=Rn， 在 R n \mathbb{R}_n Rn 中取 m < n m<n m<n 个线性无关的向量 ( X 1 , … , X m ) (X_1,\dots,X_m) (X1,…,Xm)，令 M = s p a n { X 1 , … , X m } M=span\{X_1,\dots,X_m\} M=span{X1,…,Xm}，则对任意 Y ∈ X \ M Y\in X\backslash M Y∈X\M， M M M 中存在唯一的最佳逼近元 X ∗ = ∑ i = 1 m c i X i X^*=\sum\limits_{i=1}^mc_iX_i X∗=i=1∑mciXi，其满足以下法方程组
∑ i = 1 m < X i , X j > c i = < Y , X j > \sum\limits_{i=1}^m<X_i,X_j>c_i=<Y,X_j> i=1∑m<Xi,Xj>ci=<Y,Xj>若设 A = [ X 1 , … , X m ] , C = [ c 1 , … , c m ] T A=[X_1,\dots,X_m],C=[c_1,\dots,c_m]^T A=[X1,…,Xm],C=[c1,…,cm]T，则方程组等效于
A T A C = A T Y A^TAC=A^TY ATAC=ATY
最小二乘解
求如下的最小化问题的解
x ∈ R n , s . t . min ∣ ∣ A x − b ∣ ∣ 2 x\in \mathbb{R}^n,s.t.\min||Ax-b||_2 x∈Rn,s.t.min∣∣Ax−b∣∣2由离散平方逼近的理论，其解满足
A T A x = A T b A^TAx=A^Tb ATAx=ATb
应用：求解超定、欠定方程组
我们把线性方程组 A x = b Ax=b Ax=b 中，
未知数多于方程个数的方程组称为欠定方程组，
未知数多于方程个数且有矛盾方程的方程组称为超定方程组。
欠定方程组一般有多个解，超定方程组一般无解，故在工程上常用1范数或2范数意义下的最佳逼近解来作为解，即上述的最小二乘解
x ∈ R n , s . t . min ∣ ∣ A x − b ∣ ∣ 2 x\in \mathbb{R}^n,s.t.\min||Ax-b||_2 x∈Rn,s.t.min∣∣Ax−b∣∣2其解满足
A T A x = A T b A^TAx=A^Tb ATAx=ATb
参考书籍：《数值分析》李庆扬 王能超 易大义 编