数学基础 -- 线性代数之矩阵正定性
线性代数中的正定性
正定性在线性代数中主要用于描述矩阵的特性，尤其是在二次型与优化问题中有重要应用。
正定矩阵的定义
对于一个 n × n n \times n n×n 的对称矩阵 A A A，其正定性可以通过以下条件来判断：
-
正定矩阵：如果对于任意非零向量 x ∈ R n x \in \mathbb{R}^n x∈Rn，二次型 x T A x x^T A x xTAx 都是正的，即：
x T A x > 0 ∀ x ∈ R n , x ≠ 0 x^T A x > 0 \quad \forall x \in \mathbb{R}^n, x \neq 0 xTAx>0∀x∈Rn,x=0
则称矩阵 A A A 是正定矩阵（positive definite matrix）。 -
正半定矩阵：如果对于任意向量 x ∈ R n x \in \mathbb{R}^n x∈Rn，二次型 x T A x x^T A x xTAx 是非负的，即：
x T A x ≥ 0 ∀ x ∈ R n x^T A x \geq 0 \quad \forall x \in \mathbb{R}^n xTAx≥0∀x∈Rn
则称矩阵 A A A 是正半定矩阵（positive semi-definite matrix）。
正定矩阵的判定方法
-
特征值法：如果一个对称矩阵的所有特征值都是正数，则该矩阵是正定的。特征值为非负则该矩阵是正半定的。
-
主子式法：对于对称矩阵 A A A，如果其所有顺序主子式的行列式均为正，则矩阵 A A A 是正定矩阵。这些主子式包括矩阵的左上角的各个子矩阵（即从 1x1 到 nxn）。
-
二次型判断法：直接计算二次型 x T A x x^T A x xTAx，如果对于所有非零向量 x x x，结果都为正，则矩阵 A A A 是正定的。
判定矩阵正定性的例子
假设有一个 2 × 2 2 \times 2 2×2 的矩阵 A A A：
A = ( 2 1 1 2 ) A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix} A=(2112)
我们可以通过以下两种方法来判断它是否正定。
方法1：主子式法
矩阵 A A A 是对称矩阵，我们可以计算它的主子式：
-
第一个主子式（取左上角的 1x1 矩阵）：
det ( A 1 ) = 2 \det(A_1) = 2 det(A1)=2
该值大于 0。 -
第二个主子式（整个 2x2 矩阵的行列式）：
det ( A ) = det ( 2 1 1 2 ) = 2 × 2 − 1 × 1 = 3 \det(A) = \det\begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix} = 2 \times 2 - 1 \times 1 = 3 det(A)=det(2112)=2×2−1×1=3
该值也大于 0。
由于两个顺序主子式的行列式都为正，因此矩阵 A A A 是正定矩阵。
方法2：特征值法
我们可以通过特征值法来判断正定性。首先求矩阵 A A A 的特征值：
det ( 2 − λ 1 1 2 − λ ) = ( 2 − λ ) 2 − 1 = λ 2 − 4 λ + 3 = 0 \det\begin{pmatrix} 2 - \lambda & 1 \\ 1 & 2 - \lambda \end{pmatrix} = (2 - \lambda)^2 - 1 = \lambda^2 - 4\lambda + 3 = 0 det(2−λ112−λ)=(2−λ)2−1=λ2−4λ+3=0
解这个特征方程：
λ 1 = 3 , λ 2 = 1 \lambda_1 = 3, \quad \lambda_2 = 1 λ1=3,λ2=1
由于矩阵 A A A 的两个特征值均为正，因此 A A A 是正定矩阵。
正定矩阵的应用例子
正定矩阵在优化问题中有重要的应用。例如，在二次型优化问题中，正定矩阵可以用来确保二次型函数有唯一的最小值。
二次型优化问题
考虑一个二次型优化问题：
f ( x ) = 1 2 x T A x − b T x f(x) = \frac{1}{2} x^T A x - b^T x f(x)=21xTAx−bTx
其中，矩阵 A A A 是对称矩阵，向量 b b b 是已知的常量向量， x x x 是待优化的变量向量。
如果矩阵 A A A 是正定的，则二次型函数 f ( x ) f(x) f(x) 有唯一的极小值。我们可以通过解线性方程组找到最优解。根据一阶导数条件：
∇ f ( x ) = A x − b = 0 \nabla f(x) = A x - b = 0 ∇f(x)=Ax−b=0
解得：
x ∗ = A − 1 b x^* = A^{-1} b x∗=A−1b
这里，矩阵 A A A 的正定性确保了矩阵 A A A 是可逆的，并且最优解 x ∗ x^* x∗ 是全局最小值。
示例
考虑矩阵 A A A 和向量 b b b 如下：
A = ( 2 1 1 2 ) , b = ( 3 4 ) A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix}, \quad b = \begin{pmatrix} 3 \\ 4 \end{pmatrix} A=(2112),b=(34)
我们要求解最优解 x x x：
A x = b A x = b Ax=b
即：
( 2 1 1 2 ) ( x 1 x 2 ) = ( 3 4 ) \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix} \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} = \begin{pmatrix} 3 \\ 4 \end{pmatrix} (2112)(x1x2)=(34)
解得：
x 1 = 1 , x 2 = 2 x_1 = 1, \quad x_2 = 2 x1=1,x2=2
因此，最优解为：
x = ( 1 2 ) x = \begin{pmatrix} 1 \\ 2 \end{pmatrix} x=(12)
这个例子展示了正定矩阵在优化问题中的应用，确保了二次型问题的解的存在性与唯一性。