精确方程 Ax=bA\mathbf x=\mathbf b 可能没有解。最小二乘不修改“哪些输出可以由 AA 产生”，而是在列空间中寻找离 b\mathbf b 最近的输出。

投影到一个方向

把 b\mathbf b 投影到非零向量 a\mathbf a 张成的直线上，得到

proj⁡ab=⟨b,a⟩⟨a,a⟩a.\operatorname{proj}_{\mathbf a}\mathbf b =\frac{\langle\mathbf b,\mathbf a\rangle} {\langle\mathbf a,\mathbf a\rangle}\mathbf a.

系数来自正交条件：残差 r=b−ca\mathbf r=\mathbf b-c\mathbf a 必须满足 ⟨r,a⟩=0\langle\mathbf r,\mathbf a\rangle=0。若 a\mathbf a 已经归一化，系数就是 ⟨b,a⟩\langle\mathbf b,\mathbf a\rangle。

投影到子空间就是寻找最近点

设 WW 是有限维子空间。若 b^∈W\widehat{\mathbf b}\in W 且 r=b−b^∈W⊥\mathbf r=\mathbf b-\widehat{\mathbf b}\in W^\perp，那么任意 w∈W\mathbf w\in W 都满足

∥b−w∥2=∥r∥2+∥b^−w∥2.\|\mathbf b-\mathbf w\|^2 =\|\mathbf r\|^2+ \|\widehat{\mathbf b}-\mathbf w\|^2.

所以 b^\widehat{\mathbf b} 是唯一最近点。这里的关键并非对距离公式求导，而是把误差拆成两个正交方向。

若 QQ 的列是一组正交归一基，则

b^=QQTb,PW=QQT.\widehat{\mathbf b}=QQ^{\mathsf T}\mathbf b, \qquad P_W=QQ^{\mathsf T}.

投影矩阵满足 PW2=PWP_W^2=P_W 与 PWT=PWP_W^{\mathsf T}=P_W。第一次投影已经落在 WW 中，再投影不会改变结果。

最小二乘与正规方程

要最小化 ∥Ax−b∥2\|A\mathbf x-\mathbf b\|^2，预测值 Ax^A\widehat{\mathbf x} 必须是 b\mathbf b 在 col⁡(A)\operatorname{col}(A) 上的投影。残差与每一列正交，因此

AT(b−Ax^)=0,A^{\mathsf T}(\mathbf b-A\widehat{\mathbf x})=\mathbf0,

也就是正规方程

ATAx^=ATb.A^{\mathsf T}A\widehat{\mathbf x} =A^{\mathsf T}\mathbf b.

若 AA 的列线性无关，ATAA^{\mathsf T}A 可逆，最小二乘系数唯一。若列相关，最佳预测仍然唯一，但产生它的系数可能不唯一。

证明必要性与系数的唯一性

设 x^\widehat{\mathbf x} 使平方误差最小，记残差为 r=b−Ax^\mathbf r=\mathbf b-A\widehat{\mathbf x}。沿任意系数方向 h\mathbf h 改动，误差之差为

∥r−tAh∥2−∥r∥2=−2trTAh+t2∥Ah∥2.\|\mathbf r-tA\mathbf h\|^2-\|\mathbf r\|^2 =-2t\mathbf r^{\mathsf T}A\mathbf h+t^2\|A\mathbf h\|^2.

若一次项系数不为零，选择符号合适、绝对值足够小的 tt 就能降低误差，与最小性矛盾。因此对任意 h\mathbf h 都有 rTAh=0\mathbf r^{\mathsf T}A\mathbf h=0，即正规方程。解的存在性来自上一章的正交分解：列空间中的投影必有至少一个系数原像。

又因为 xTATAx=∥Ax∥2\mathbf x^{\mathsf T}A^{\mathsf T}A\mathbf x=\|A\mathbf x\|^2，有 ker⁡(ATA)=ker⁡A\ker(A^{\mathsf T}A)=\ker A。满列秩使这个核为零，所以方阵 ATAA^{\mathsf T}A 可逆；列相关时则有非零核方向，沿它移动得到无穷多个最优系数。

为什么正规方程一定足够

设 x^\widehat{\mathbf x} 满足正规方程，残差记为 r=b−Ax^\mathbf r=\mathbf b-A\widehat{\mathbf x}。任意系数扰动 h\mathbf h 都满足

∥b−A(x^+h)∥2=∥r∥2+∥Ah∥2.\|\mathbf b-A(\widehat{\mathbf x}+\mathbf h)\|^2 =\|\mathbf r\|^2+\|A\mathbf h\|^2.

交叉项为零，因为 ATr=0A^{\mathsf T}\mathbf r=0。所以这不是只找到了某个驻点，而是证明了全局最小。等号成立当且仅当 h∈ker⁡A\mathbf h\in\ker A，全部最小二乘系数为 x^+ker⁡A\widehat{\mathbf x}+\ker A。这解释了为什么最佳输出唯一，却可能有多个系数表示。

从插值走向拟合

多项式插值要求曲线穿过全部数据点。现在用直线 y=αx+βy=\alpha x+\beta 拟合 (1,6),(2,7),(3,5)(1,6),(2,7),(3,5)：

A=(112131),b=(675).A=\begin{pmatrix}1&1\\2&1\\3&1\end{pmatrix}, \qquad \mathbf b=\begin{pmatrix}6\\7\\5\end{pmatrix}.

正规方程为

(14663)(αβ)=(3518),\begin{pmatrix}14&6\\6&3\end{pmatrix} \begin{pmatrix}\alpha\\\beta\end{pmatrix} =\begin{pmatrix}35\\18\end{pmatrix},

得到 α=−1/2,β=7\alpha=-1/2,\beta=7。预测值为 (6.5,6,5.5)T(6.5,6,5.5)^{\mathsf T}，残差为 (−1/2,1,−1/2)T(-1/2,1,-1/2)^{\mathsf T}。直接相乘可验证 ATr=0A^{\mathsf T}\mathbf r=\mathbf0。

QR 避免显式形成正规方程

对满列秩矩阵做 Gram–Schmidt，可写成

A=QR,A=QR,

其中 QQ 的列正交归一，RR 是对角元素非零的上三角矩阵。最小二乘问题等价于

Rx^=QTb.R\widehat{\mathbf x}=Q^{\mathsf T}\mathbf b.

这只需一次正交化与一次三角求解。LU 章节通过消元分解方阵，QR 则通过正交基处理矩形矩阵和最小二乘。

对满列秩矩阵，二范数条件数定义为 κ2(A)=σ1/σn\kappa_2(A)=\sigma_1/\sigma_n。SVD 的构造说明 ATAA^{\mathsf T}A 的正特征值为 σi2\sigma_i^2，所以准确关系是 κ2(ATA)=κ2(A)2\kappa_2(A^{\mathsf T}A)=\kappa_2(A)^2。具体 QR 实现的数值稳定性是另一问题；Householder QR 与改进 Gram–Schmidt 留待数值线性代数部分讨论。

证明QR 为什么归结为这个三角系统

Gram–Schmidt 保持每一段前缀的张成空间，因此第 jj 列可写成 ∑i≤jrijqi\sum_{i\le j}r_{ij}\mathbf q_i，其中 rij=qiTajr_{ij}=\mathbf q_i^{\mathsf T}\mathbf a_j，rjjr_{jj} 是非零余向量的正范数。逐列合并就得到 A=QRA=QR，且 RR 是可逆上三角矩阵。把 b\mathbf b 正交分解成 QQTb+(I−QQT)bQQ^{\mathsf T}\mathbf b+(I-QQ^{\mathsf T})\mathbf b，便有

∥Ax−b∥2=∥Rx−QTb∥2+∥(I−QQT)b∥2.\|A\mathbf x-\mathbf b\|^2 =\|R\mathbf x-Q^{\mathsf T}\mathbf b\|^2 +\|(I-QQ^{\mathsf T})\mathbf b\|^2.

这里用到 ∥Qz∥2=zTQTQz=∥z∥2\|Q\mathbf z\|^2=\mathbf z^{\mathsf T}Q^{\mathsf T}Q\mathbf z=\|\mathbf z\|^2。第二项固定不变，解上面的三角系统使第一项取零，故达到最小值。

把前面的拟合完整地算成 QR

仍使用三点拟合的设计矩阵。第一列归一化后为 q1=(1,2,3)T/14\mathbf q_1=(1,2,3)^{\mathsf T}/\sqrt{14}。第二列减去第一方向上的投影，得到

(111)−614(123)=17(41−2).\begin{pmatrix}1\\1\\1\end{pmatrix} -\frac{6}{14}\begin{pmatrix}1\\2\\3\end{pmatrix} =\frac17\begin{pmatrix}4\\1\\-2\end{pmatrix}.

所以 q2=(4,1,−2)T/21\mathbf q_2=(4,1,-2)^{\mathsf T}/\sqrt{21}，并且

R=(146/1403/21),QTb=(35/1421/21).R=\begin{pmatrix}\sqrt{14}&6/\sqrt{14}\\0&3/\sqrt{21}\end{pmatrix}, \qquad Q^{\mathsf T}\mathbf b= \begin{pmatrix}35/\sqrt{14}\\21/\sqrt{21}\end{pmatrix}.

第二行给出 3β=213\beta=21，第一行给出 14α+6β=3514\alpha+6\beta=35，因此仍为 β=7,α=−1/2\beta=7,\alpha=-1/2。这也直接验证了 QR 与正规方程求的是同一个最佳预测。

练习

练习投影到一条直线

把 (3,1)(3,1) 投影到 (1,1)(1,1) 张成的直线上，并求残差。

解答

系数为 4/2=24/2=2，投影为 (2,2)(2,2)，残差为 (1,−1)(1,-1)。残差与 (1,1)(1,1) 的内积为零。

练习辨认投影矩阵

证明对正交归一列矩阵 QQ，矩阵 P=QQTP=QQ^{\mathsf T} 满足 P2=PP^2=P。

解答

P2=Q(QTQ)QT=QIQT=PP^2=Q(Q^{\mathsf T}Q)Q^{\mathsf T}=QIQ^{\mathsf T}=P。

练习最佳常数

用一个常数 cc 拟合数据 y1,…,yny_1,\ldots,y_n，证明最小二乘解是样本均值。

解答

设计矩阵是全一列。正规方程给出 nc=∑iyinc=\sum_i y_i，所以 c=1n∑iyic=\frac1n\sum_i y_i。残差之和为零。