内积空间与等距变换之正交补空间与等距变换

一. 正交补空间的定义及概念

1. 正交关系的定义

（1）向量正交于子空间

若某空间V中的向量α垂直于V的子空间W中的任意一个向量，就说该向量α垂直于子空间W。

（2）子空间正交于子空间

若两个子空间中的任意两个向量相互正交，则说明该两个子空间相互正交。

（3）向量正交于子空间的判定定理

若给定一个子空间W和一个向量η，如果向量η⊥W，则η应该正交于子空间W的每一个生成元。

【充分性】

已知向量η与子空间W的每一个生成元都是正交的，要证明该向量η和子空间W也是正交的，利用向量与子空间正交的定义，需要证明η垂直于子空间W中的任意一个向量。

【必要性】

已知向量η垂直于子空间W，要证明该向量η垂直于任意一个生成元

按照向量与子空间垂直的定义，该向量应该和子空间中任意一个向量都垂直，而生成元就是子空间中的向量。

2. 正交补空间

（1）定义

要注意正交补空间的定义，是在集合V下关于给定的子空间定义的正交补空间。

（2）定理

该定理的第二句话交代了在某种意义上，正交补空间的唯一性。

【证明V = W ⊕W^⊥】

根据前面写的博文《【]矩阵论】线性空间与线性变换（3）（4）》讨论过的有关直和的定义和性质：

要证明V = W ⊕W^⊥，只需要证明两点——
其一，W+W^⊥是直和
其二，W+W^⊥ = V

①W+W^⊥是直和

要证明W+W^⊥是直和，按照直和的等价性质，我们只需要证明W和W^⊥这两个子空间的交空间是零空间即可。

也就是说在W∩W^⊥这个空间中任取一个向量，要能够证明这个向量就是零向量θ。
根据我们在《【矩阵论】内积空间与等距变换（1）》中讨论过的有关内积、模长的定义：要证明一个向量是零向量→该向量的模长为零→该向量和自身的内积为零

因为η既在W空间中，又在W^⊥空间中，根据正交补空间的定义，可以得到<η,η> = 0，从而得证。

②W+W^⊥ = V

这又是证明两个集合相等，按照以往的套路，我们需要证明两个集合的相互包含性。

在这里我们使用和空间的一个性质，只需要证明W空间和W^⊥空间的基的拼接结果就是V空间的基即可。

在W中取一组标准正交基ε1，ε2，…，εr，因为W是V的子空间，根据前面我们讨论过的定理，这组基一定可以拓展成V空间的一组基，形式为ε1，ε2，…，εr，εr+1,…,εn；现在只需要证明后面这部分εr+1,…,εn就是W^⊥空间的基即可。

那么根据正交补空间的定义，由这一组基组成的任意一个向量都应该和W空间是正交的；又因为向量正交于子空间↔向量正交于子空间的每一个生成元。

所以，只需要证明εr+1,…,εn和ε1，ε2，…，εr两两正交即可。又因为，这一组基本身就是标准正交基，显然满足。

【证明若V = W ⊕U，且W⊥U，则U = W^⊥】

根据直和的定义，若V = W ⊕U，那么就有V = W + U；
要证明该句话成立，就要证明两个子空间U和W^⊥是相等的，证明两个集合相等，需要证明两个集合的相互包含关系

①证明U是 W^⊥的子集

这一点很好证明，任取一个向量η∈U，根据两个子空间正交的定义，可知η⊥W，再根据向量和子空间正交的定义，即有：η∈W^⊥

②证明W^⊥是U的子集

证明某集合V1是另一集合V2的子集，按照子集的定义有一个通用的思路，就是任取一个向量α∈V1，要能够证明出α∈V2，那么就能证明出V1是V2的子集。

在W^⊥空间中任取一个向量η，那么根据正交补空间的定义，向量η自然也在空间V中。
η∈V，V又可以写作W子空间和U子空间的直和，按照直和的定义能够找到唯一的描述方式，使得η = α + β，其中α和β分别属于集合W和集合U之中。

我们的目标是要能够证明出η∈U，根据η = α + β，不难想到，只要能够证明出α是零向量θ，那么就有η = β∈U。

前文我们已经介绍过证明一个向量是零向量θ的思路
【向量是零向量→向量的模长为零→向量自身的内积为零】
按照上图，α自身的内积，被拆解成了两个内积的差，其中<α，η> = 0是因为两个向量分别在互为正交补空间的两个集合之中；而<α，β> = 0，是因为题干中给出了W和U相互正交的已知条件。

（3）推论

二. 正交补空间的应用

1. 值域（核）子空间的正交补空间

（1）问题描述

（2）问题求解

如果读者对于【线性映射的矩阵表示】、【线性映射的值域空间及其求解】、【线性映射的核子空间及其求解】这些概念不太熟悉，可以先参考我另一篇博文《【矩阵论】线性空间与线性变换（6）》，其内有详细定义讲解和例题解析。

①结论1：值域空间R(A)的正交补空间是其矩阵A共轭转置后的核子空间。R(A)^⊥ = K(A^H)

直接把老师板书的PP笔记截图下来了，稍微有点凌乱，读者可以跟着箭头按照从左至右，从上至下的顺序进行阅读，以下我也会进行一些解释。

首先，题目中给出了线性映射的矩阵表示A，将矩阵A写成列分块矩阵就可以得到A = (α1，α2，…，αn)的形式，在以往的博文中我们已经讨论、证明并使用过一个结论【线性映射的值域空间和线性映射的矩阵列空间是等价的】，因此，求解R（A）可以转化成求解α1，α2，…，αn这些向量组张成的子空间。

因为我们要求解的是R(A)的正交补空间，假设我们从需要求解的正交补空间中任取一个向量η，那么根据正交补空间的定义，向量η也应该正交于空间R(A)。

“向量正交于一个子空间↔向量应该正交于子空间的每一个生成元“
从而可以得到，η和αj（j=1…n）是正交的。
因为A∈C^sxn，是复数域的一个空间集合，且我们记住在复数域空间的标准内积定义为——

最后经过简单的矩阵变换与运算，得到了关于向量η的表达式：A^Hη = θ。证毕。

通过这一结论，我们基本上明确了，要求值域空间的正交补空间的基，只需要求解共轭转置矩阵的核子空间的基即可，而求解核子空间的基，本质上就是求解齐次线性方程组。

②结论2：矩阵A的核子空间正交补空间是A的共轭转置的值域空间。K(A)^⊥ = R(A^H)

在对这一结论进行证明的时候，不需要再划分大量的经历进行相关的运算。只需要利用好已知的结论，把“正交补”、“共轭转置”这些操作都看成是对矩阵的原子操作即可。

首先，对于R(A)^⊥ = K(A^H)这个结论，我们可以对矩阵A进行整体替代，不论A是什么样的形式，只要等式两边同时进行了替代，那么结论就依然成立。

令B = A^H,则有R(A^H)^⊥ = K（A^{H H}） = K（A）
再对等式两边同时进行正交补运算，则可以得到等式K(A)^⊥ = R(A^H)

（3）例题求解

【例】求解值域空间（核子空间）的正交补空间（或其一组标准正交基）

这道题的考点都很明确了，一个是要求解正交补空间，还有一个是要求解标准正交基。以下只对解题思路进行基本介绍，不做详细计算。

首先，按照定义，题目给出的W空间就是线性映射A的核子空间，所以题目的实质要求是要求解线性映射A的核子空间的正交补空间。

根据定理，矩阵A的核子空间的正交补空间↔矩阵A的共轭转置的值域空间，其二者是等价的。所以，对矩阵A进行转置（因为是实矩阵，所以共轭后结果不变），分离出各个列向量，我们要求解的就是这些列向量组成的向量组的极大无关组。

又因为题目要求求解的是标准正交基，所以得到无关组之后还需要按顺序对这些无关组进行正交化和单位化的操作，最终即得到结果。

2. 正投影在内积空间中的推广

问题背景介绍

从几何观点来看，如果给定一个平面W，再给出平面外的一个点P，现要在平面W上找到一个点Q，使得P和Q之间的距离最短。


根据几何知识不难得到，过平面外点P向平面W作垂线，平面W上的垂足就是要求解的点Q。

如果把上述的问题用向量来描述：

已知一个生成子空间W，子空间W外部的一个向量η，现在要求解W内的一个向量η0，使得两个向量η和η0之间的距离d(η,η0)最小。


类比上面的思路，不难想到，所要求解的向量η0，起点是向量η与W的交点，终点就是向量η在子空间W上的投影点。

上面的问题求解思路放在我们熟悉的低维空间以及几何角度来看是十分合理的，但是若想把这个结论在内积空间中进行推广，还需要进行严格的数学定义。

（1）定理描述

（2）定理证明

以上只对定理的充分性进行了证明【已知α-η⊥W，要证明α和η之间的距离是最短的】

思路，我们只需要在W中任取一个向量ξ，证明α和ξ之间的距离总是不小于α和η之间的距离即可

按照上图（以及结合向量之间距离的定义），可以把||α-ξ||转换成||α- η+ η - ξ||的形式，又因为根据题意，α- η⊥W，所以α- η∈W^⊥，η - ξ∈W，那么两个相互正交的空间内的向量的距离可以借助勾股定理进行转换成||α- η||²+ ||η - ξ||²的形式，又因为||η - ξ||²是非负的，所以上式可以放缩成≥||α- η||²，结论得证。

（3）例题演练

【例】求解向量在某生成子空间内的正投影

只对思路进行解释，不做详细计算。

要明确α在W上的正投影也是在W中的，W又是由α1和α2两个生成元张成的子空间内所以正投影η可以写作α1和α2的线性组合的形式。

按照定理，α-η应该和W是正交的，根据【向量和子空间正交的定理】，可以得到α-η应该和W的两个生成元分别正交，从而得到两个方程，可以将η的两个未知系数x1和x2求解出来。

3. 最小二乘解

提出背景：求解近似解的方法

很多时候我们需要求解形如Ax = b这样的方程，在方程无解的情况下，我们依然希望求得尽可能满足方程的近似解。

在上图所示的情境中，所谓“近似解”就是要找到一个向量x0，使得Ax0的值和b的差距尽可能的小。

其中，“差距尽可能的小”也就意味着Ax0这个向量和b向量在C^s这个线性空间的距离要尽可能的小。

根据上图，首先我们是要找到x0使得Ax0和b的差距最小，又注意到Ax0这个向量始终是在矩阵A的列空间中（或者说是在线性映射A的值域空间中），所以问题转化——

我们要在R(A)空间中找到一个向量b’使得该向量b’与给定的b向量之间的距离最小
【上述问题的表达就是我们前文讨论的正投影问题】
于是乎，我们就是要找b向量在R(A)这个子空间中的正投影，根据b-b’⊥R(A)这个正交关系，逐步推导，最后得出我们需要找到的b’向量满足A^Hb’ = A^Hb的关系。

又因为b’向量是在R(A)中的，所以b’可以写成Ax0的形式，则方程就转化成A^HAx0 = A^Hb，在线性代数中我们就学到过左边这个方程是一定有解的，故我们可以找到（近似）解。

三. 等距变换

我们之前讨论的线性空间以及线性空间的相关运算的时候，并没有引入度量特性。现在把度量特性引入，构成内积空间，从而讨论内积空间的等距变换。

1. 等距变换的相关概念

（1）定义

由此：正交变换和酉变换都是特殊的等距变换

此处主要是对等距变换进行定义——经过变换后的两个像的内积结果与两个原像之间的内积结果相同【保持所有向量的内积不变性】，就说明该变换为等距变换。

p.s. 有关酉矩阵的详细内容可以参考专题下的博文《【矩阵论】内积空间与等距变换（1）》同系列博文

（2）常见的等距变换示例

要注意在Cⁿ这个空间中的标准内积定义，以及酉矩阵的定义，就能推得向量的内积不变性。

2. 等距变换的等价判定定理

（1）描述

（2）部分证明

以下证明是对第一条到第二条进行证明：f保持长度不变→f保持内积不变

对于等式左边项进行化简，（因为f是一个线性映射，满足可加性和数乘性）<f(x+y),f(x+y)> = <f(x)+f(y),f(x)+f(y)>

再对等式右边进行化简，同样可按照内积运算的可加性进行展开（此步省略），因为要求左边和右边相等，对照以下两个式子

也就是【Re<f(x),f(y)> = Re<x,y>】

光看上面这个等式，也就是说如果某个变换可以保证任意向量的长度不变性，那么就可以保证两个向量的内积的实部不变

针对数域F是实数域还是复数域，我们进行以下讨论

当F = R时，两个实数的实部就是它本身，从而就推出了向量内积不变性

当F = C时，Re<f(x),f(y)> = Re<x,y>这个式子对于任意的向量均成立，故可以把y向量换成iy向量


从而就推出了需要两个向量内积的虚部也保持不变性，结合实部和虚部的不变性，就可以得到内积的不变性

【例】正交变换（等距变换）的求解

【题型剖析】给定一个线性映射的含有未知参数的表达式，问参数满足什么条件的时候，该线性变换是一个xx变换（正交/酉/等距…）

通常有两种处理方式：

其一，按照定义和自然的逻辑顺序，写出定义式应该满足的约束式子，从而求解一个关于未知参数的方程，求解出参数的值。

其二，按照前面给出的等价判定定理，通过迂回的方式得到关于未知参数的方程并进行求解。

由图，按照法一，就是通过使得等式<f(x),f(y)> = <x,y>满足，从而求解出关于位置参数k的方程。在进行运算的过程中，还使用到了内积相关的运算性质。

法二的方法是基于上面的某一条性质【等距变换在标准正交基下的矩阵表示是酉矩阵】

根据题意，已知ω是欧式空间V中的一个单位向量，那么可以通过对ω进行扩充成V的一组标准正交基ω，ω2，…，ωn

之后就是要把线性变换f的矩阵形式写出来，可以先把ω代入f(x)的表达式中，就有f(ω) = (1-2k)ω;再把正交基向量组中其他的向量代入，因为是正交基，所以<ωj,ω> = 0，因此就有f(ωj) = ωj.
从而得到f的矩阵形式如上图A所示。

A要是酉矩阵，按照酉矩阵的定义应该有A^HA = I的形式；【或者也可以这么理解，因为V是欧式空间，所以这里的酉矩阵实质上就是我们通常意义所说的正交矩阵】