向量空间说明哪些对象可以相加、缩放，却没有规定怎样比较长度与方向。要讨论“最近的向量”“误差大小”或“两个方向是否垂直”，还需要在空间上加入几何结构。

内积把两个向量变成一个数

在 Rn\mathbb R^n 中，标准内积为

⟨x,y⟩=xTy=∑i=1nxiyi.\langle \mathbf x,\mathbf y\rangle =\mathbf x^{\mathsf T}\mathbf y =\sum_{i=1}^n x_i y_i.

它满足对称性、对每个输入的线性，以及正定性：⟨x,x⟩≥0\langle\mathbf x,\mathbf x\rangle\ge 0，等号只在 x=0\mathbf x=\mathbf0 时成立。一个实向量空间上任何满足这些条件的函数都称为内积。选用不同内积，相当于改变测量长度和角度的规则。

例如对正数 wiw_i，加权内积

⟨x,y⟩W=xTWy,W=diag⁡(w1,…,wn)\langle\mathbf x,\mathbf y\rangle_W =\mathbf x^{\mathsf T}W\mathbf y, \qquad W=\operatorname{diag}(w_1,\ldots,w_n)

会让某些坐标的误差更重要。若权重出现负数，⟨x,x⟩W\langle\mathbf x,\mathbf x\rangle_W 可能为负，便不再是内积。

范数、距离与夹角

内积诱导范数与距离：

∥x∥=⟨x,x⟩,d(x,y)=∥x−y∥.\|\mathbf x\|=\sqrt{\langle\mathbf x,\mathbf x\rangle}, \qquad d(\mathbf x,\mathbf y)=\|\mathbf x-\mathbf y\|.

对非零向量，夹角 θ∈[0,π]\theta\in[0,\pi] 由

cos⁡θ=⟨x,y⟩∥x∥ ∥y∥\cos\theta =\frac{\langle\mathbf x,\mathbf y\rangle} {\|\mathbf x\|\,\|\mathbf y\|}

定义。这里的 cos⁡\cos 是已有的三角函数；柯西–施瓦茨不等式保证右侧落在 [−1,1][-1,1]。零向量没有方向，因此不能定义与零向量的夹角。

内积为正表示锐角，为零表示直角，为负表示钝角。余弦相似度只保留方向关系，会忽略向量整体缩放；这在比较表示向量时有用，却不等同于欧几里得距离。

柯西–施瓦茨为什么成立

对 y≠0\mathbf y\ne\mathbf0，平方长度始终非负：

0≤∥x−⟨x,y⟩∥y∥2y∥2.0\le \left\|\mathbf x- \frac{\langle\mathbf x,\mathbf y\rangle}{\|\mathbf y\|^2} \mathbf y\right\|^2.

展开后得到

∣⟨x,y⟩∣2≤∥x∥2∥y∥2.|\langle\mathbf x,\mathbf y\rangle|^2 \le \|\mathbf x\|^2\|\mathbf y\|^2.

等号成立恰好表示 x,y\mathbf x,\mathbf y 线性相关。利用这条估计展开 ∥x+y∥2\|\mathbf x+\mathbf y\|^2，便得到三角不等式

∥x+y∥≤∥x∥+∥y∥.\|\mathbf x+\mathbf y\| \le \|\mathbf x\|+\|\mathbf y\|.

因此内积给出的长度确实满足范数公理。基础不等式章节从乘积和的角度证明了同一结论；这里强调它怎样产生几何结构。

若 y=0\mathbf y=0，柯西–施瓦茨两边都为零，且这组向量线性相关。若 y≠0\mathbf y\ne0，上面的平方范数取零当且仅当 x\mathbf x 等于所写的 y\mathbf y 的倍数，所以等号条件的两个方向都成立。

范数公理

三角不等式及其等号条件

柯西–施瓦茨给出

∥x+y∥2=∥x∥2+2⟨x,y⟩+∥y∥2≤(∥x∥+∥y∥)2.\begin{aligned} \|\mathbf x+\mathbf y\|^2 &=\|\mathbf x\|^2+2\langle\mathbf x,\mathbf y\rangle+\|\mathbf y\|^2\\ &\le(\|\mathbf x\|+\|\mathbf y\|)^2. \end{aligned}

两边非负，取平方根保持不等号方向。非零向量取等号需要柯西–施瓦茨取等号，并且内积非负，所以只能同向；有零向量时也取等号。正定性给出范数非负且只在零处为零，双线性给出 ∥cx∥=∣c∣∥x∥\|c\mathbf x\|=|c|\|\mathbf x\|，因此三条范数公理全部成立。

正交与勾股分解

若 ⟨x,y⟩=0\langle\mathbf x,\mathbf y\rangle=0，就称两向量正交，记作 x⊥y\mathbf x\perp\mathbf y。正交向量满足

∥x+y∥2=∥x∥2+∥y∥2.\|\mathbf x+\mathbf y\|^2 =\|\mathbf x\|^2+\|\mathbf y\|^2.

对子空间 WW，其正交补为

W⊥={v:⟨v,w⟩=0 for every w∈W}.W^\perp =\{\mathbf v:\langle\mathbf v,\mathbf w\rangle=0 \text{ for every }\mathbf w\in W\}.

W⊥W^\perp 是子空间。在有限维内积空间中，每个向量都能唯一写成 WW 中的分量与 W⊥W^\perp 中的分量之和。下一章会把这个存在唯一性结论变成投影算法。

正交归一基让坐标可以直接读出

若一组基向量两两正交且长度为 11，就称为正交归一基。此时

v=∑i=1n⟨v,qi⟩qi.\mathbf v=\sum_{i=1}^n \langle\mathbf v,\mathbf q_i\rangle\mathbf q_i.

一般基需要解方程才能得到坐标，正交归一基只需逐个做内积。若 QQ 的列是这些基向量，则 QTQ=IQ^{\mathsf T}Q=I，并且 Q−1=QTQ^{-1}=Q^{\mathsf T}。

这里的矩阵等式使用标准欧氏坐标和标准内积。如果坐标内积写成 xTGy\mathbf x^{\mathsf T}G\mathbf y，对应等式应为 QTGQ=IQ^{\mathsf T}GQ=I；当 QQ 是方阵基矩阵时，才有 Q−1=QTGQ^{-1}=Q^{\mathsf T}G。若 QQ 只是长方形的正交归一向量组，QTQ=IQ^{\mathsf T}Q=I 只给出左逆，不能写成双侧逆。

正交补的闭合性与坐标公式

若 u,v∈W⊥\mathbf u,\mathbf v\in W^\perp，则对任意 w∈W\mathbf w\in W，有 ⟨au+bv,w⟩=0\langle a\mathbf u+b\mathbf v,\mathbf w\rangle=0。零向量也满足条件，故正交补是子空间。

若 v=∑iciqi\mathbf v=\sum_i c_i\mathbf q_i，对 qj\mathbf q_j 取内积，其余项全部消失，得到 cj=⟨v,qj⟩c_j=\langle\mathbf v,\mathbf q_j\rangle。这证明了正交归一基下的坐标公式。此时平方长度为 ∑ici2\sum_i c_i^2，正交换基因此保持长度。

Gram–Schmidt 从普通基构造正交基

从线性无关组 v1,…,vk\mathbf v_1,\ldots,\mathbf v_k 开始，依次减去已经构造方向上的分量：

uj=vj−∑i=1j−1⟨vj,ui⟩⟨ui,ui⟩ui,qj=uj∥uj∥.\mathbf u_j =\mathbf v_j- \sum_{i=1}^{j-1} \frac{\langle\mathbf v_j,\mathbf u_i\rangle} {\langle\mathbf u_i,\mathbf u_i\rangle}\mathbf u_i, \qquad \mathbf q_j=\frac{\mathbf u_j}{\|\mathbf u_j\|}.

每一步都只减去前面方向上的组合，所以生成空间不变；剩余向量又与此前所有方向正交。若某一步得到零向量，原输入组线性相关，不能继续归一化。

例如从 v1=(1,1)\mathbf v_1=(1,1)、v2=(1,0)\mathbf v_2=(1,0) 出发，先得 q1=(1,1)/2\mathbf q_1=(1,1)/\sqrt2。从 v2\mathbf v_2 减去其在 q1\mathbf q_1 上的分量，得到 (1/2,−1/2)(1/2,-1/2)，归一化后为 q2=(1,−1)/2\mathbf q_2=(1,-1)/\sqrt2。

Gram–Schmidt 的归纳检验

假设此前的非零 ui\mathbf u_i 正交。对 uj\mathbf u_j 的定义与任意 uℓ\mathbf u_\ell 取内积，和式中只有 i=ℓi=\ell 项留下，它恰好抵消 ⟨vj,uℓ⟩\langle\mathbf v_j,\mathbf u_\ell\rangle。若剩余向量为零，则 vj\mathbf v_j 已在此前输入的张成空间中，与输入独立性矛盾。新旧向量又能互相用此前向量表示，故每一步都保持前缀张成空间。这同时证明了正交性、可归一化和基的完整性。

为什么正交补真的补满整个空间

先对 WW 的一组基做 Gram–Schmidt，得到 q1,…,qk\mathbf q_1,\ldots,\mathbf q_k。给定任意 v\mathbf v，令

w=∑i=1k⟨v,qi⟩qi,r=v−w.\mathbf w=\sum_{i=1}^k\langle\mathbf v,\mathbf q_i\rangle\mathbf q_i, \qquad \mathbf r=\mathbf v-\mathbf w.

逐个计算可得 ⟨r,qj⟩=0\langle\mathbf r,\mathbf q_j\rangle=0，所以 r∈W⊥\mathbf r\in W^\perp，分解存在。若还有另一组分解，两组 WW 分量之差同时属于 WW 与 W⊥W^\perp。这个差向量与自身正交，只能为零，因此分解唯一。这证明了

V=W⊕W⊥,dim⁡W+dim⁡W⊥=dim⁡V.V=W\oplus W^\perp, \qquad \dim W+\dim W^\perp=\dim V.

这里依赖有限维条件。无限维空间需要额外讨论闭子空间，不能原样沿用结论。

几何并不是坐标自带的

同一个坐标列，在不同内积下可能有不同长度。例如 x=(1,1)\mathbf x=(1,1) 在标准内积下长度为 2\sqrt2，在 W=diag⁡(1,4)W=\operatorname{diag}(1,4) 的加权内积下长度为 5\sqrt5。因此写出坐标后，还必须说明使用哪一种测量规则。

复数的极形式把单位圆上的点写成 (cos⁡θ,sin⁡θ)(\cos\theta,\sin\theta)。标准内积下，与 (1,0)(1,0) 的内积恰好是 cos⁡θ\cos\theta；换用一般内积后，由内积定义的角度未必等于图纸上量出的欧几里得角度。前面的夹角公式需要使用同一内积诱导的范数，不能混搭。

练习

练习夹角与零向量

求 (1,1,0)(1,1,0) 与 (1,0,1)(1,0,1) 的夹角，并说明为什么同一公式不能用于零向量。

解答

内积为 11，两向量长度均为 2\sqrt2，所以 cos⁡θ=1/2\cos\theta=1/2，即 θ=π/3\theta=\pi/3。零向量会使分母为零，而且没有方向。

练习检查一个加权内积

判断 ⟨x,y⟩=2x1y1+3x2y2\langle\mathbf x,\mathbf y\rangle=2x_1y_1+3x_2y_2 是否为 R2\mathbb R^2 上的内积。

解答

它满足对称性和双线性，而且 2x12+3x22≥02x_1^2+3x_2^2\ge0，仅在两个坐标都为零时取等号，因此是内积。

练习完成一次正交化

对 (1,0,1)(1,0,1) 与 (1,1,0)(1,1,0) 做 Gram–Schmidt，并给出一组正交归一基。

解答

可取 q1=(1,0,1)/2\mathbf q_1=(1,0,1)/\sqrt2。第二个剩余方向是 (1,1,0)−12(1,0,1)=(1/2,1,−1/2)(1,1,0)-\tfrac12(1,0,1)=(1/2,1,-1/2)，长度为 3/2\sqrt{3/2}，归一化后为 (1,2,−1)/6(1,2,-1)/\sqrt6。