对称矩阵、二次型与谱定理

任意可对角化矩阵都能找到特征向量基，但基未必正交。实对称矩阵具有更强的结构：可以在互相垂直的方向上独立缩放。

对称性把矩阵与内积连接起来

实矩阵 $A$ 满足 $A^{\mathsf T}=A$ 时称为对称矩阵。它满足

$$\langle A\mathbf x,\mathbf y\rangle =\langle\mathbf x,A\mathbf y\rangle.$$

若 $A\mathbf v=\lambda\mathbf v$、$A\mathbf w=\mu\mathbf w$ 且 $\lambda\ne\mu$，对称性给出

$$\lambda\langle\mathbf v,\mathbf w\rangle =\mu\langle\mathbf v,\mathbf w\rangle,$$

所以不同特征值对应的特征向量正交。

实谱定理

定理实对称矩阵的谱定理

每个实对称矩阵都存在正交矩阵 $Q$ 与实对角矩阵 $\Lambda$，使

$$A=Q\Lambda Q^{\mathsf T}.$$

这个结论包含三点：所有特征值都是实数；存在一组正交归一特征向量；换到该基后矩阵为对角形。反过来，任何 $Q\Lambda Q^{\mathsf T}$ 都是对称矩阵。

把谱定理的归纳步骤补齐

实对称矩阵作为复矩阵仍满足 $A^*=A$。若 $A\mathbf v=\lambda\mathbf v$，则 $\mathbf v^*A\mathbf v$ 等于其共轭，是实数。因此

$$\lambda=\frac{\mathbf v^*A\mathbf v}{\mathbf v^*\mathbf v}\in\mathbb R.$$

复特征向量的实部和虚部都满足同一个实特征方程，且至少一个非零，所以能选实单位特征向量 $\mathbf q$。若 $\mathbf w\perp\mathbf q$，则

$$\langle A\mathbf w,\mathbf q\rangle =\langle\mathbf w,A\mathbf q\rangle=0.$$

所以 $\mathbf q^\perp$ 不变；限制在此空间的算子仍然对称。对维数归纳，补出其余正交归一特征向量。这个证明的起点使用复数域上多项式有根的代数基本定理。

二次型测量方向相关的能量

方阵 $A$ 定义二次型

$$q(\mathbf x)=\mathbf x^{\mathsf T}A\mathbf x.$$

反对称部分不贡献数值，因此 $q$ 只取决于 $(A+A^{\mathsf T})/2$。对称谱分解后，令 $\mathbf y=Q^{\mathsf T}\mathbf x$，得到

$$q(\mathbf x)=\sum_i\lambda_i y_i^2.$$

交叉项消失，二次型变成沿特征方向的独立平方和。

交叉项怎样在新坐标下消失

对 $A=\begin{pmatrix}2&1\\1&2\end{pmatrix}$，单位特征向量为 $(1,1)/\sqrt2$ 与 $(1,-1)/\sqrt2$。令

$$u=\frac{x+y}{\sqrt2},\qquad v=\frac{x-y}{\sqrt2}.$$

二次型变成

$$2x^2+2xy+2y^2=3u^2+v^2.$$

等高线 $q=1$ 在这两个方向上的半轴长度分别为 $1/\sqrt3$ 与 $1$。对角化同时给出数值简化和椭圆的真实主轴。

正定性由特征值符号决定

$A$ 正定表示对所有非零 $\mathbf x$ 都有 $\mathbf x^{\mathsf T}A\mathbf x>0$；半正定则允许等于零。对实对称矩阵：

$$A\succ0\Longleftrightarrow \lambda_i>0\text{ for every }i,$$ $$A\succeq0\Longleftrightarrow \lambda_i\ge0\text{ for every }i.$$

正定二次型的等高线是椭球。很小的特征值对应平坦方向，很大的特征值对应陡峭方向，这也解释了优化中条件数为什么影响收敛速度。

证明

若所有特征值为正，非零坐标向量至少有一个平方项非零，因此 $\sum_i\lambda_i y_i^2>0$。反过来，把各个单位特征向量代入二次型，便分别得到 $\lambda_i>0$。把严格不等号改为非严格不等号，得到半正定的等价条件。对 $c>0$，水平集方程为 $\sum_i y_i^2/(c/\lambda_i)=1$，故半轴长为 $\sqrt{c/\lambda_i}$。零水平集只有原点，负水平集为空。

从正定二次型得到唯一极小值

设 $A$ 对称正定，考虑 $f(\mathbf x)=\tfrac12\mathbf x^{\mathsf T}A\mathbf x-\mathbf b^{\mathsf T}\mathbf x$。取 $\mathbf x_*=A^{-1}\mathbf b$，展开可得

$$f(\mathbf x)-f(\mathbf x_*) =\tfrac12(\mathbf x-\mathbf x_*)^{\mathsf T}A(\mathbf x-\mathbf x_*).$$

右侧严格为正，除非 $\mathbf x=\mathbf x_*$，因此极小值唯一。这不需要预先使用多元微积分；若已学过 Hessian，会发现它恰好等于 $A$。

Rayleigh 商寻找极端方向

对非零 $\mathbf x$，定义

$$R_A(\mathbf x) =\frac{\mathbf x^{\mathsf T}A\mathbf x} {\mathbf x^{\mathsf T}\mathbf x}.$$

把 $\mathbf x$ 展开到正交特征向量基后，$R_A$ 是特征值的加权平均。因此

$$\lambda_{\min}\le R_A(\mathbf x)\le\lambda_{\max},$$

两端分别在最小和最大特征值方向取得。这为主成分、稳定性和谱图论提供统一的变分视角。

具体地，权重为 $y_i^2/\sum_jy_j^2$，均非负且总和为一。减去 $\lambda_{\min}$ 后得到非负项之和；取等号要求所有对应于更大特征值的坐标都为零。因此取等号的位置是整个最小特征空间，最大值情形同理，也包含极端特征值重复的情况。

复数情形使用 Hermitian 矩阵

在复向量空间中，对称性的对应物是 $A^*=A$，称为 Hermitian 矩阵。它同样具有实特征值和酉正交特征向量基。共轭的代数规则可参考复数。

Hermitian 情形沿用同一个归纳证明：代数基本定理给出特征向量，商 $\mathbf v^*A\mathbf v/(\mathbf v^*\mathbf v)$ 表明特征值为实数，复正交补保持不变，限制算子仍是 Hermitian 矩阵。从一维开始归纳，逐步取单位向量即可；此时无须再提取实部或虚部。这里需要的代数基本定理已在复数章节证明。

练习

练习判断正定

判断 $A=\begin{pmatrix}2&1\\1&2\end{pmatrix}$ 是否正定。

解答

特征值为 $3$ 与 $1$，均为正数，所以 $A$ 正定。

练习反对称部分消失

证明对任意实反对称矩阵 $K^{\mathsf T}=-K$，都有 $\mathbf x^{\mathsf T}K\mathbf x=0$。

解答

该标量等于自己的转置，即 $\mathbf x^{\mathsf T}K^{\mathsf T}\mathbf x=-\mathbf x^{\mathsf T}K\mathbf x$，所以只能为零。

练习Rayleigh 商的权重

若 $A=\operatorname{diag}(1,4)$，写出单位向量 $(\cos\theta,\sin\theta)$ 的 Rayleigh 商。

解答

$R_A=\cos^2\theta+4\sin^2\theta$，取值范围为 $[1,4]$。这里的三角参数保证向量长度为一。