矩阵的广义逆

所谓的“矩阵的广义逆”的问题，是对克拉默法则求解线性方程组的一个推广，对于形如Ax = b这样的线性方程组，如果A存在逆矩阵，那么我们可以得到该方程组的解析解为x = A^-1b。

那么假如方阵A不存在逆矩阵或者A本身即不是一个方阵时，是否可以把方程组的（近似）解表示为x = Gb的形式。

一. 广义逆矩阵的概念

【广义逆矩阵概念的发展脉络】

1. 概念定义

【例】广义逆矩阵示例

• 可逆矩阵的广义逆就是其逆矩阵
• 零矩阵的广义逆依然是零矩阵

注：并不能表述成“零矩阵的广义逆是其本身”，因为根据上面的例2，其逆矩阵G的维度发生了变化。

2. 相关定理

（1）定理： 设A∈C^sxn，则A的广义逆矩阵是存在的，且是唯一的。

之前在讲述Jordan形矩阵的时候，就提到过，引入一个新的概念之后，要先讨论这一概念的存在性和唯一性。

【存在性】

既然已经给出了G矩阵的表达式，接下来只需要验证G满足MP四个方程即可。
因为方程1与方程2具有等价性，方程3和方程4也具有等价性，以下我们只对第一个和第三个方程进行验证：

p.s. 关于矩阵的满秩分解，是在该系列课程的第0章，这一部分笔者并没有记录笔记，有需要的读者可以自行在视频中观看证明。

【东南大学】研究生课程 工程矩阵理论 课程22讲+习题6讲

【唯一性】
在已知广义逆矩阵存在的情况下，接下来证明任意一个矩阵A的广义逆矩阵是唯一的。

通常唯一性的证明均采用反证法思想，设出两个广义逆矩阵G₁和G₂，需要通过运算和变换证明出G₁＝G₂。

• 通过上述定理，不仅对于矩阵的广义逆的存在性和唯一性进行了证明，而且还通过矩阵的满秩分解给出了矩阵的广义逆矩阵的计算方法，通常我们把一个矩阵的广义逆矩阵记作A⁺。

（2）例题演练

【例】广义逆矩阵的求解 - 1

【例】广义逆矩阵的求解 - 2

通常来说，按照定理来求解广义逆的时候，最重要的步骤就是对矩阵A进行满秩分解；
本例题因为比较特殊，可以直接看出其分解矩阵的形式。

【例】广义逆矩阵的求解 - 3

有时候给出的矩阵维度和形式比较特殊（比如说给出一个行向量），此时不需要照搬公式，可以快速得到其分解形式。

• 针对行满秩和列满秩矩阵（行向量和列向量就是特殊的行满秩和列满秩矩阵），不需要照搬满秩分解的公式。

（3）一些常见矩阵的广义逆矩阵

①零矩阵的广义逆矩阵依然是零矩阵

O_sxn⁺ = O_nxs

②分块对角阵的广义逆矩阵（和逆矩阵运算相同）

③行（列）分块矩阵的广义逆矩阵（与转置运算相同）

p.s. 要注意不管是行分块还是列分块，原来的零矩阵O和求解广义逆之后得到的零矩阵O并不相等——维数不同。

④对角矩阵的广义逆矩阵

形如上图的一个对角阵，λ_i（i = 1,2,…,n）都是数

• 如果λ_i≠0，那么该对角矩阵一定可逆，其广义逆矩阵就是其逆矩阵，也即对角线元素分别取倒数
• 如果存在某一个对角元为零，那么该矩阵不可逆，但其广义逆矩阵依然存在，原矩阵零元素的位置在广义逆矩阵中取0即可。

3. A⁺求解的方法论

（1）求解矩阵A的广义逆矩阵A⁺的方法

①对矩阵A进行满秩分解，将A用A = BC来表示，则按照结论，A⁺ = C^H(CC^H)^-1(BB^H)^-1B^H

对于一般的矩阵A_mxn：
对矩阵A应用行初等变换，将其化简成一个行阶梯形矩阵，根据行阶梯形可以很快得知矩阵A的主元所在列和矩阵A的秩r

假如A的主元所在列为c₁,c₂,…,c_r，那么B_mxr就是矩阵A中c₁,c₂,…,c_r这些列构成的子矩阵。
C_rxn就是矩阵A化简得到的阶梯型中的前r个非零行构成的子矩阵。

对于行满秩或者列满秩矩阵A_mxn

• 当r = m(行满秩)时，A_mxn = B_mxm·C_mxn = I_mxm·C_mxn
• 当r = n(列满秩)时，A_mxn = B_mxn·C_nxn = B_mxn·I_nxn

②使用上文讨论过的有关分块对角、行(列)分块和对角矩阵的结论，将矩阵进行划分

（2）例题实操

【法一】A的秩为1，对A进行满秩分解

A = B_3x1·C_1x2 = [1,-1,0]^T·[1,1]
剩下的按照公式代入A⁺ = C^H(CC^H)^-1(BB^H)^-1B^H，计算略去。

【法二】将A划分成一个行分块矩阵

二. 广义逆矩阵的性质

这里讲解广义逆矩阵的性质，是直接为了我们在后续讨论广义逆矩阵的应用而服务的。

0. 广义逆矩阵与逆矩阵的不同处

以前在讨论逆矩阵的时候，当矩阵A和B均是可逆的情况下，我们有(AB)^-1 = B^-1A^-1
虽然广义逆矩阵是逆矩阵的推广，但上述结论并不能推广至广义逆矩阵上。

举反例进行说明

根据上图，则有(AB)⁺ = (A²)⁺≠(A⁺)² = (B⁺·A⁺)

但是特殊地，当B = A^H时，即有：
(A^HA)⁺ = A⁺(A^H)⁺；(AA^H)⁺ = (A^H)⁺A⁺

1. 定理1

“定理一主要是针对在各类矩阵运算之中，广义逆矩阵会有怎样的运算性质和结构”

其中性质1-4均可以用广义逆矩阵定义中的MP方程进行逐一验证，以下对性质5进行简要证明：

针对性质八，做一下简要解释，“二.0.”部分已经讨论过了(UAV)⁺≠V⁺A⁺U⁺
如果只是简单的求逆运算，应该有(UAV)^-1≠V^-1A^-1U^-1

因为U和V是酉矩阵，所以有U^H = U^-1(V亦同)，一定是可逆的；问题在于矩阵A可能不可逆，虽然其广义逆依然存在
此时相当于A矩阵的逆矩阵推广成广义逆A⁺，而U和V照样取一般逆即可。

2. 定理2

“定理二的部分主要是讨论矩阵的值域空间、核子空间与其广义逆之间存在何种关系”

现只关于性质1进行证明：
若x∈R(A),则存在一个向量y，有Ay = x；
AA⁺x = AA⁺(Ay) = (AA⁺A)y = Ay = x

若x∈K(A^H)，则有A^Hx = θ；
AA⁺x = A(A⁺AA⁺)x = AA⁺(AA⁺)x = AA⁺(AA⁺)^Hx = AA⁺((A⁺)^HA^H)x = AA⁺(A⁺)^H（A^Hx） = A(A^HA)⁺θ = θ

上图性质3-性质5表达了各种空间的等价关系，其中①②③标识出来的三个结论，在以前的课程中已经证明过，下面做简要回顾与说明：

①——R(A^HA)是R(A^H)的子集且r(A^HA) = r(A^H)，所以有R(A^HA)=R(A^H)

任取一个x∈R(A^HA),则说明存在向量y，有x = A^HA·y = A^H(A·y)∈R(A^H)
在学习矩阵的秩得到时候，我们到有r(A^HA) = r(A^H)结论的成立，综上，证毕。

②——R(A)^⊥ = K(A^H)
在《【矩阵论】内积空间与等距变换（2）》的二.1部分有定理与证明。

③——K(A) = K（A^HA）
我们在证明r(A^HA) = r(A^H)这个结论成立时，其实就是证明了Ax = θ与A^HAx = θ这两个齐次方程组是同解的。
而满足Ax = θ这个方程的所有向量的集合就是K(A)；满足A^HAx = θ这个方程的所有向量的集合就是K（A^HA）

p.s. 当时笔者跳过了视频中的第0章部分，具体证明读者可以在点进原视频中了解。

以下挑选性质3-性质5中的部分等式进行证明

因为性质3-5中的结论都是线性空间的相等关系，不要忘记——
证明两个集合的相等，最常用的思路就是证明两个集合的相互包含关系。

p.s. 同时还要把握住值域空间和核子空间的定义

【性质3：R(A⁺) = R(A⁺A)】

【性质3：R(A⁺) = K(I-A⁺A)】

【性质4：K(A⁺) = R(I-AA⁺)】

3. 例题演练

【例1】证明：若A是Hermite矩阵，则A⁺也是Hermite矩阵

【证明】
根据Hermite矩阵的定义，要证明矩阵A⁺是H矩阵，则只需要能够证明出(A⁺)^H = A⁺即可
根据定理1，我们知道共轭转置运算和广义逆运算是可以交换顺序的

所以(A⁺)^H = (A^H)⁺ ；
又因为A是一个H阵，所以A^H = A，故：(A⁺)^H = (A^H)⁺ = A⁺

【例2】设A是正规矩阵，证明(A²)⁺ = (A⁺)²

三. 广义逆矩阵的应用

我们谈论应用，主要还是针对方程组的求解来说明。

• 当方程组有解的时候，希望可以得到方程组的解析解，形如x = Gb的形式
• 当方程组无解的时候，希望可以得到方程组的近似解，使得||Ax-b||₂最小

1. 问题描述：最小二乘解

2. 相关定理

（1）定理1：η是Ax = b的最小二乘解 ↔ η是A^HAx = A^Hb的解

定理1相当于给我们提供了一个思路，如果我们现在求解出了一个向量x，需要验证其是否为方程Ax = b的最小二乘解，只需要验证其实否为方程A^HAx = A^Hb的解即可。

（2）定理2:

【证明】先对定理2的第一部分进行证明，证明给出的那一串x =…的表达式是方程的通解

①证明给出的x确实是方程的解

②因为x是通解，所以还需要证明方程的任意一个解都可以写成给定的形式

【证明】接下来证明第二部分，即A⁺b是唯一的极小最小二乘解