特征值、不变子空间与对角化

一般矩阵会同时改变向量的长度与方向。特征向量寻找少数方向：变换作用后仍留在同一条直线上，只发生缩放或反向。

特征向量把矩阵作用化成数乘

若非零向量 $\mathbf v$ 满足

$$A\mathbf v=\lambda\mathbf v,$$

则称 $\mathbf v$ 是特征向量，$\lambda$ 是对应特征值。零向量不算特征向量，因为它对任意 $\lambda$ 都满足等式，无法辨认任何方向。

把等式移项可得

$$(A-\lambda I)\mathbf v=\mathbf0.$$

存在非零解当且仅当 $A-\lambda I$ 不可逆，所以

$$\det(A-\lambda I)=0.$$

这就是特征方程。求出 $\lambda$ 后，还要解齐次方程才能得到特征向量。

下文统一取首一形式 $p_A(t)=\det(tI-A)$。由于 $\det(A-tI)=(-1)^np_A(t)$，两种写法的零点及其重数完全相同。

特征空间是一个核

固定特征值 $\lambda$，所有对应特征向量再加零向量组成

$$E_\lambda=\ker(A-\lambda I).$$

因此特征空间是子空间。它的维数称为几何重数。特征值在特征多项式中的根重数称为代数重数，总有

$$1\le \dim E_\lambda \le \operatorname{mult}_{\lambda}(p_A).$$

不同特征值对应的特征向量线性无关。这个事实让多个一维不变方向可以拼成一组基。

为什么不同特征值给出独立方向

用归纳法证明。假设前 $k-1$ 个特征向量独立，且有零组合。对该组合施加 $A-\lambda_k I$，得到

$$\sum_{i=1}^{k-1}c_i(\lambda_i-\lambda_k)\mathbf v_i=0.$$

归纳假设和特征值互异迫使前 $k-1$ 个系数为零；代回原式又得 $c_k=0$。证明使用的是每个向量所属的特征值，不能把结论误读成“任意两向量不平行就整体独立”。

为什么几何重数不超过代数重数

设 $g=\dim E_\lambda$。先取特征空间的一组基，再扩充成整个空间的基。新基下矩阵具有分块形式

$$\widetilde A=\begin{pmatrix}\lambda I_g&C\\0&B\end{pmatrix}.$$

左下块为零，因为前 $g$ 个基向量的像仍是各自的 $\lambda$ 倍。分块上三角矩阵的行列式是对角块行列式的乘积，因此

$$\det(tI-\widetilde A)=(t-\lambda)^g\det(tI-B).$$

所以 $\lambda$ 的根重数至少为 $g$。不同特征空间的和是直和，可用前面独立性证明对各空间中的非零组合应用同一消去步骤。因此当特征多项式在标量域内分裂时，全部几何重数之和为 $n$，恰好等价于每个几何重数都等于对应代数重数，也恰好等价于存在特征向量基。

不变子空间比单个特征向量更一般

若 $A(W)\subseteq W$，就称 $W$ 对 $A$ 不变。特征向量张成的一维空间是不变子空间，但旋转平面也可能整体不变而没有实特征方向。选取适合不变子空间的基，矩阵会呈现分块结构，能把大问题拆成较小问题。

对角化就是找到一组特征向量基

若 $A$ 有 $n$ 个线性无关特征向量，令 $S$ 把它们作为列，$D$ 把对应特征值放在对角线上，则

$$AS=SD, \qquad A=SDS^{-1}.$$

反过来，若 $A=SDS^{-1}$，$S$ 的每一列都是特征向量。因此，方阵可对角化当且仅当空间存在一组特征向量基。

不同特征值足够多时一定可对角化。重复特征值则必须检查特征空间维数。例如

$$\begin{pmatrix}1&1\\0&1\end{pmatrix}$$

只有一维特征空间，无法提供两向量基，所以不可对角化。

完整地构造一次对角化

对 $A=\begin{pmatrix}2&1\\0&3\end{pmatrix}$，特征向量可取 $(1,0)^{\mathsf T}$ 和 $(1,1)^{\mathsf T}$，所以

$$S=\begin{pmatrix}1&1\\0&1\end{pmatrix}, \quad D=\begin{pmatrix}2&0\\0&3\end{pmatrix}, \quad S^{-1}=\begin{pmatrix}1&-1\\0&1\end{pmatrix}.$$

对输入 $(x,y)$，新坐标为 $(x-y,y)$。分别乘以 $2,3$，再换回旧坐标，得到 $(2x+y,3y)$，恰好恢复原矩阵作用。这让 $S^{-1}$、$D$ 和 $S$ 的顺序有了具体含义。

对角化必须注明标量域：九十度旋转在实数域不可对角化，在复数域则可以。一般判据是特征多项式在所选域内分裂，并且每个特征值的几何重数等于代数重数。

实矩阵可能需要复数才能看见全部方向

旋转九十度的矩阵

$$R=\begin{pmatrix}0&-1\\1&0\end{pmatrix}$$

满足特征方程 $\lambda^2+1=0$。它没有实特征值，因为实平面中没有非零方向在旋转后保持原直线。扩展到复数后，特征值为 $i,-i$。这里用到的 $i$、共轭和极形式可回到复数章节复习。

复向量的内积需要共轭：$\langle\mathbf x,\mathbf y\rangle=\mathbf x^*\mathbf y$，其中 $^*$ 表示共轭转置。直接使用普通转置可能破坏长度的非负性。

相似变换保留谱信息

换基把 $A$ 改写为 $S^{-1}AS$。相似矩阵有相同特征多项式、特征值、行列式和迹。矩阵条目会改变，线性映射的缩放模式不会改变。

相似性为何保持特征多项式和迹

由 $tI-S^{-1}AS=S^{-1}(tI-A)S$ 及行列式乘法法则，两个特征多项式相同。迹定义为对角元素之和。直接交换有限求和次序可得

$$\operatorname{tr}(XY)=\sum_i\sum_j x_{ij}y_{ji} =\operatorname{tr}(YX).$$

于是 $\operatorname{tr}(S^{-1}AS)=\operatorname{tr}(ASS^{-1})=\operatorname{tr}(A)$。

练习

练习从特征值到特征空间

求 $A=\begin{pmatrix}2&1\\0&3\end{pmatrix}$ 的特征值和一组特征向量基。

解答

特征值为 $2,3$。可分别取 $(1,0)^{\mathsf T}$ 与 $(1,1)^{\mathsf T}$，两者独立，所以 $A$ 可对角化。

练习稳态也是特征向量

解释为什么随机转移矩阵的稳态 $P\boldsymbol\pi=\boldsymbol\pi$ 对应特征值 $1$。

解答

定义式已经是 $P\boldsymbol\pi=1\boldsymbol\pi$。概率归一化再从该特征空间中选出分量和为一的向量。

练习重复根不够

说明单位矩阵虽然只有一个不同的特征值，却仍然可对角化。

解答

单位矩阵的特征值 $1$ 的特征空间是整个 $\mathbb R^n$，几何重数为 $n$，可以任选一组基作为特征向量基。