期望和方差

期望和方差是概率论中的两个基本概念，它们描述了随机变量分布的中心趋势和离散程度。

下文涉及有限期望的等式，均假设可积，即 $E|X|<\infty$；方差、协方差公式假设二阶矩有限。非负变量的期望可以是 $+\infty$，但不能相减两个无穷大。连续情形还要求函数可测，并使用通常的积分运算法则。

期望值（均值）

期望值，也称为均值或期望，表示随机变量在多次试验中的平均值。

对于离散随机变量

$$\mathbb{E}[X] = \mu_X = \sum_{x} x \cdot p_X(x)$$

其中：

• $p_X(x)$ 是概率质量函数（PMF）
• 求和是对$X$的所有可能值进行的

性质：

• 线性和齐次性：$\mathbb{E}[aX + b] = a\mathbb{E}[X] + b$
• 对于两个随机变量：$\mathbb{E}[X + Y] = \mathbb{E}[X] + \mathbb{E}[Y]$
• 对于独立随机变量：$\mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y]$

关键性质的证明

证明线性性

对于 $a, b \in \mathbb{R}$

$$\begin{aligned} \mathbb{E}[aX + b] &= \sum_{x} (ax + b) \cdot p_X(x) \\ &= a\sum_{x} x \cdot p_X(x) + b\sum_{x} p_X(x) \\ &= a\mathbb{E}[X] + b \end{aligned}$$

证明可加性

$$\begin{aligned} \mathbb{E}[X + Y] &= \sum_{x}\sum_{y} (x + y) \cdot p_{X,Y}(x,y) \\ &= \sum_{x}\sum_{y} x \cdot p_{X,Y}(x,y) + \sum_{x}\sum_{y} y \cdot p_{X,Y}(x,y) \\ &= \mathbb{E}[X] + \mathbb{E}[Y] \end{aligned}$$

证明独立变量的乘积

如果$X$和$Y$独立，则$p_{X,Y}(x,y) = p_X(x)p_Y(y)$，所以：

$$\begin{aligned} \mathbb{E}[XY] &= \sum_{x}\sum_{y} xy \cdot p_{X,Y}(x,y) \\ &= \sum_{x}\sum_{y} xy \cdot p_X(x)p_Y(y) \\ &= \left(\sum_{x} x p_X(x)\right)\left(\sum_{y} y p_Y(y)\right) \\ &= \mathbb{E}[X]\mathbb{E}[Y] \end{aligned}$$

对于连续随机变量

$$\mathbb{E}[X] = \mu_X = \int_{-\infty}^{\infty} x \cdot f_X(x)dx$$

其中：

• $f_X(x)$ 是概率密度函数（PDF）

方差

方差衡量随机变量的值偏离其均值的程度。

定义方差

$$\mathbb{V}(X) = \sigma_X^2 = \mathbb{E}[(X - \mu_X)^2] = \mathbb{E}[X^2] - (\mathbb{E}[X])^2$$

这两个示例分布的均值相同，但离散程度不同，因此方差不同。

对于离散随机变量

$$\mathbb{V}(X) = \sum_{x} (x - \mu_X)^2 \cdot p_X(x)$$

对于连续随机变量

$$\mathbb{V}(X) = \int_{-\infty}^{\infty} (x - \mu_X)^2 \cdot f_X(x)dx$$

标准差

标准差是方差的平方根：

$$\sigma_X = \sqrt{\mathbb{V}(X)}$$

方差的性质

• $\mathbb{V}(X) \geq 0$
• $\mathbb{V}(a) = 0$ 对于任何常数$a$
• $\mathbb{V}(aX) = a^2 \mathbb{V}(X)$
• $\mathbb{V}(X + a) = \mathbb{V}(X)$
• 对于独立随机变量：$\mathbb{V}(X + Y) = \mathbb{V}(X) + \mathbb{V}(Y)$

方差性质的证明

证明缩放性质

对于 $a \in \mathbb{R}$

$$\begin{aligned} \mathbb{V}(aX) &= \mathbb{E}[(aX - \mathbb{E}[aX])^2] \\ &= \mathbb{E}[(aX - a\mathbb{E}[X])^2] \\ &= \mathbb{E}[a^2(X - \mathbb{E}[X])^2] \\ &= a^2\mathbb{E}[(X - \mathbb{E}[X])^2] \\ &= a^2\mathbb{V}(X) \end{aligned}$$

证明平移不变性

$$\begin{aligned} \mathbb{V}(X + a) &= \mathbb{E}[(X + a - \mathbb{E}[X + a])^2] \\ &= \mathbb{E}[(X + a - \mathbb{E}[X] - a)^2] \\ &= \mathbb{E}[(X - \mathbb{E}[X])^2] \\ &= \mathbb{V}(X) \end{aligned}$$

证明独立变量的可加性

如果$X$和$Y$独立：

$$\begin{aligned} \mathbb{V}(X + Y) &= \mathbb{E}[(X + Y)^2] - (\mathbb{E}[X + Y])^2 \\ &= \mathbb{E}[X^2 + 2XY + Y^2] - (\mathbb{E}[X] + \mathbb{E}[Y])^2 \\ &= \mathbb{E}[X^2] + 2\mathbb{E}[X]\mathbb{E}[Y] + \mathbb{E}[Y^2] - \mathbb{E}[X]^2 - 2\mathbb{E}[X]\mathbb{E}[Y] - \mathbb{E}[Y]^2 \\ &= (\mathbb{E}[X^2] - \mathbb{E}[X]^2) + (\mathbb{E}[Y^2] - \mathbb{E}[Y]^2) \\ &= \mathbb{V}(X) + \mathbb{V}(Y) \end{aligned}$$

证明二阶矩恒等式与零方差

记 $\mu=E[X]$。展开平方并用线性性，得 $E[(X-\mu)^2]=E[X^2]-2\mu E[X]+\mu^2=E[X^2]-\mu^2$。平方非负，故方差非负；常量的中心化平方为零。反过来，若这个平方的期望为零，由事件 $\{|X-\mu|\ge1/k\}$ 上的下界 $(X-\mu)^2\ge k^{-2}$，可知每个这样的事件概率均为零。它们的可数并为 $\{X\ne\mu\}$，所以零方差意味着 $X=\mu$ 几乎处处成立。

例子

例离散情况（掷骰子）

对于一个公平的六面骰子：

• PMF：$p_X(x) = \frac{1}{6}$，对于$x \in \{1, 2, 3, 4, 5, 6\}$

期望值：

$$\mathbb{E}[X] = \sum_{x=1}^{6} x \cdot \frac{1}{6} = \frac{1+2+3+4+5+6}{6} = \frac{21}{6} = 3.5$$

方差：

$$\mathbb{E}[X^2] = \sum_{x=1}^{6} x^2 \cdot \frac{1}{6} = \frac{1+4+9+16+25+36}{6} = \frac{91}{6}$$$$\mathbb{V}(X) = \mathbb{E}[X^2] - (\mathbb{E}[X])^2 = \frac{91}{6} - (3.5)^2 = \frac{91}{6} - \frac{49}{4} = \frac{182 - 147}{12} = \frac{35}{12} \approx 2.92$$

例连续情况（正态分布）

对于$X \sim N(\mu, \sigma^2)$：

• PDF：$f_X(x) = \frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}$

期望值：$\mathbb{E}[X] = \mu$

方差：$\mathbb{V}(X) = \sigma^2$

例连续情况（均匀分布）

对于$X \sim U(a, b)$：

• PDF：$f_X(x) = \frac{1}{b-a}$，对于$a \leq x \leq b$

期望值：

$$\mathbb{E}[X] = \int_a^b x \cdot \frac{1}{b-a} dx = \frac{a+b}{2}$$

方差：

$$\mathbb{V}(X) = \int_a^b \left(x - \frac{a+b}{2}\right)^2 \cdot \frac{1}{b-a} dx = \frac{(b-a)^2}{12}$$

随机变量函数的期望

当我们对随机变量应用函数时，会得到一个新的随机变量。计算这个新随机变量的期望是概率论中的重要问题。

无意识统计学家定律（LOTUS）

计算随机变量函数期望的核心原理是无意识统计学家定律（Law of the Unconscious Statistician, LOTUS）。该定律指出：要计算 $\mathbb{E}[g(X)]$，我们不需要先找到 $g(X)$ 的分布，而是可以直接使用 $X$ 的原始分布进行计算。

计算公式

对于函数 $g: \mathbb{R} \to \mathbb{R}$ 和随机变量 $X$，$g(X)$ 的期望为：

$$\mathbb{E}[g(X)] = \begin{cases} \sum_{x} g(x) \cdot p_X(x) & \text{（离散）} \\ \int_{-\infty}^{\infty} g(x) \cdot f_X(x) dx & \text{（连续）} \end{cases}$$

重要性质

1. 线性性：$\mathbb{E}[a \cdot g(X) + b \cdot h(X)] = a\mathbb{E}[g(X)] + b\mathbb{E}[h(X)]$
2. 单调性：如果对于所有 $x$ 都有 $g(x) \leq h(x)$，那么 $\mathbb{E}[g(X)] \leq \mathbb{E}[h(X)]$

证明LOTUS 与单调性

离散情形按 $y=g(x)$ 分组。因为 $P(g(X)=y)=\sum_{x:g(x)=y}p_X(x)$，代入 $E[g(X)]$ 后重新分组，即得 $\sum_x g(x)p_X(x)$。非负项或绝对收敛的级数允许这一步。

有密度时，先取示性函数 $g=\mathbf1_B$，两边都是 $P(X\in B)=\int_B f_X$。线性性把结论推广到简单函数，即示性函数的有限线性组合；再用递增简单函数逼近非负可测函数，应用单调收敛定理。对于可积的有符号函数，分别处理正负部分后相减即可。这里把单调收敛定理作为积分前提，其一般证明尚未在微积分笔记中展开。联合分布同样适用。最后，由 $h-g\ge0$ 得 $E[h(X)]-E[g(X)]\ge0$，在差有定义时便证明期望的单调性。

应用实例

例平方函数的期望

对于任意随机变量 $X$，计算 $\mathbb{E}[X^2]$：

• 离散情况：$\mathbb{E}[X^2] = \sum_{x} x^2 \cdot p_X(x)$
• 连续情况：$\mathbb{E}[X^2] = \int_{-\infty}^{\infty} x^2 \cdot f_X(x) dx$

这个结果在计算方差时至关重要：$\mathbb{V}(X) = \mathbb{E}[X^2] - (\mathbb{E}[X])^2$

例指数函数的期望

对于任意随机变量 $X$，计算 $\mathbb{E}[e^{tX}]$：

• 离散情况：$\mathbb{E}[e^{tX}] = \sum_{x} e^{tx} \cdot p_X(x)$
• 连续情况：$\mathbb{E}[e^{tX}] = \int_{-\infty}^{\infty} e^{tx} \cdot f_X(x) dx$

这就是矩生成函数的定义，在概率论中有广泛应用。

数值估计方法

当函数复杂或分布非标准时，解析解可能难以获得。此时可使用泰勒级数近似进行数值估计。

泰勒级数近似法

对于均值为 $\mu$、方差为 $\sigma^2$ 的随机变量 $X$，函数 $f(X)$ 的期望和方差可以通过泰勒展开近似。

证明期望的近似推导

1. 在 $\mu$ 处对 $f(X)$ 进行二阶泰勒展开：

$$f(X) = f(\mu) + f'(\mu)(X-\mu) + \frac{f''(\mu)}{2}(X-\mu)^2 + R_2$$

其中 $R_2$ 是余项。

2. 对两边取期望：

$$\mathbb{E}[f(X)] = \mathbb{E}[f(\mu)] + \mathbb{E}[f'(\mu)(X-\mu)] + \mathbb{E}\left[\frac{f''(\mu)}{2}(X-\mu)^2\right] + \mathbb{E}[R_2]$$

3. 由于 $f(\mu)$、$f'(\mu)$ 和 $f''(\mu)$ 都是常数：

$$\mathbb{E}[f(X)] = f(\mu) + f'(\mu)\mathbb{E}[X-\mu] + \frac{f''(\mu)}{2}\mathbb{E}[(X-\mu)^2] + \mathbb{E}[R_2]$$

4. 利用 $\mathbb{E}[X-\mu] = 0$ 和 $\mathbb{E}[(X-\mu)^2] = \sigma^2$，并忽略高阶余项：

$$\mathbb{E}[f(X)] \approx f(\mu) + \frac{f''(\mu)}{2}\sigma^2$$

证明方差的近似推导

1. 使用一阶泰勒展开（对于方差计算，一阶通常足够）：

$$f(X) \approx f(\mu) + f'(\mu)(X-\mu)$$

2. 由于 $f(\mu)$ 是常数，它不影响方差：

$$\mathbb{V}[f(X)] \approx \mathbb{V}[f'(\mu)(X-\mu)]$$

3. 常数因子可以提出：

$$\mathbb{V}[f(X)] \approx [f'(\mu)]^2 \mathbb{V}[X-\mu]$$

4. 由于 $\mathbb{V}[X-\mu] = \mathbb{V}[X] = \sigma^2$：

$$\mathbb{V}[f(X)] \approx [f'(\mu)]^2 \sigma^2$$

总结公式：

$$\begin{aligned} \mathbb{E}\left[f(X)\right] &\approx f(\mu) + f''(\mu)\frac{\sigma^2}{2} \\ \mathbb{V}\left[f(X)\right] &\approx \left(f'(\mu)\right)^2\sigma^2 \end{aligned}$$

近似精度说明

• 期望的近似使用了二阶展开，精度较高
• 方差的近似使用了一阶展开，对于非线性较强的函数可能需要更高阶项
• 当 $f(X)$ 是线性函数时，近似结果是精确的
• 近似精度取决于下面的余项界。

方差小本身不能控制 Taylor 余项。若 $f^{(3)}$ 在 $\mu$ 与 $X$ 每个可能取值之间的线段上满足 $|f^{(3)}|\le M$，Taylor 余项给出

$$\left|E[f(X)]-f(\mu)-\tfrac12f''(\mu)\sigma^2\right| \le\frac{M}{6}E|X-\mu|^3.$$

对一次近似，写 $f(X)=f(\mu)+L+R$，其中 $L=f'(\mu)(X-\mu)$。各项二阶矩有限时，协方差展开和柯西–施瓦茨不等式给出

$$|\operatorname{Var}(f(X))-\operatorname{Var}(L)| \le2\sqrt{\operatorname{Var}(L)\operatorname{Var}(R)}+\operatorname{Var}(R).$$

这些界明确指出需要小的是哪些量；如果不控制导数与尾部，仅凭分布集中不能保证近似准确。

协方差和相关系数

当处理多个随机变量时，我们经常想要衡量它们之间的关系。

协方差

$$\text{Cov}(X,Y) = \mathbb{E}[(X - \mu_X)(Y - \mu_Y)] = \mathbb{E}[XY] - \mathbb{E}[X]\mathbb{E}[Y]$$

相关系数

$$\rho_{X,Y} = \frac{\text{Cov}(X,Y)}{\sigma_X \sigma_Y}$$

性质：

• $-1 \leq \rho_{X,Y} \leq 1$
• $\rho = 1$：完全正线性关系
• $\rho = -1$：完全负线性关系
• $\rho = 0$：无线性关系（但可能有非线性关系）

证明协方差与相关系数的界

展开中心化乘积，得到 $\operatorname{Cov}(X,Y)=E[XY]-E[X]E[Y]$，并有

$$\operatorname{Var}(X+Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)+2\operatorname{Cov}(X,Y).$$

令 $U=X-E[X]$、$V=Y-E[Y]$，在 $E[(U-tV)^2]\ge0$ 中取 $t=E[UV]/E[V^2]$，便得 $E[UV]^2\le E[U^2]E[V^2]$。两方差均为正时，这就是 $|\rho|\le1$。由零方差的论证，等号等价于 $U=tV$ 几乎处处成立：$t>0$ 对应 $\rho=1$，$t<0$ 对应 $\rho=-1$。若某个方差为零，相关系数没有定义。

独立通过乘积公式推出协方差为零，但逆命题不成立。若 $X$ 在 $\{-1,0,1\}$ 上均匀分布，$Y=X^2$，则 $E[X]=E[X^3]=0$，协方差为零；然而 $Y$ 完全由 $X$ 决定且不是常量，因此并不独立。

常见分布及其矩

分布	期望值	方差
伯努利(p)	$p$	$p(1-p)$
二项(n,p)	$np$	$np(1-p)$
泊松(λ)	$\lambda$	$\lambda$
均匀(a,b)	$\frac{a+b}{2}$	$\frac{(b-a)^2}{12}$
正态(μ,σ²)	$\mu$	$\sigma^2$
指数(λ)	$\frac{1}{\lambda}$	$\frac{1}{\lambda^2}$

重要定理

定理大数定律

对于具有均值$\mu$的独立同分布随机变量$X_1, X_2, ..., X_n$：

$$\frac{1}{n}\sum_{i=1}^{n} X_i \xrightarrow{P} \mu \text{ 当 } n \to \infty$$

本章采用有限方差版本：对无限的独立同分布序列，假设 $E[X_i]=\mu$ 且 $\operatorname{Var}(X_i)<\infty$。大数弱定律笔记给出了完整的 Chebyshev 证明。一般独立同分布弱律只需有限一阶矩，但还需截断论证，不能由这里的方差证明直接得到。

定理中心极限定理

对于具有均值$\mu$和方差$\sigma^2$的独立同分布随机变量：

$$\frac{\sum_{i=1}^{n} X_i - n\mu}{\sigma\sqrt{n}} \xrightarrow{D} N(0,1) \text{ 当 } n \to \infty$$

这里要求无限的独立同分布序列，且 $0<\sigma^2<\infty$；零方差时上述标准化没有定义。特征函数证明会先把标准化单变量的变换展开为 $1-t^2/2+o(t^2)$，在 $t/\sqrt n$ 处取 $n$ 次幂得到 $e^{-t^2/2}$，最后应用 Lévy 连续性定理。有限二阶矩下的这个展开及最后的连续性定理，目前尚未在笔记集建立；这里记录的是待写概率极限章节的依赖，不把它算作已完成证明。

多个随机变量的期望

当处理多个随机变量的函数时，我们需要理解如何计算它们的期望。

多变量函数的期望

对于两个随机变量的函数$g(X,Y)$，期望使用联合分布计算：

$$\mathbb{E}[g(X,Y)] = \begin{cases} \sum_{x}\sum_{y} g(x,y) \cdot p_{X,Y}(x,y) & \text{（离散）} \\ \iint_{\mathbb{R}^2} g(x,y) \cdot f_{X,Y}(x,y) dx dy & \text{（连续）} \end{cases}$$

关键性质

从这个定义，我们推导出重要性质：

1. 线性性：$\mathbb{E}[X + Y] = \mathbb{E}[X] + \mathbb{E}[Y]$（总是成立）
2. 乘积：$\mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y]$（仅在$X$和$Y$独立时成立）

从联合分布计算期望

连续情况的几何解释

对于联合概率密度函数$f(x,y)$，计算$\mathbb{E}[X]$涉及在整个平面上积分：

$$\mathbb{E}[X] = \iint_{\mathbb{R}^2} x \cdot f(x,y) dx dy$$

这可以在几何上理解为找到联合密度形成的三维曲面在$x$方向的"质心"。

计算可以通过两种等效方式进行：

1. 直接积分：在整个平面上对$x \cdot f(x,y)$积分
2. 使用边缘密度：首先找到$f_X(x) = \int_{-\infty}^{\infty} f(x,y) dy$，然后计算$\mathbb{E}[X] = \int_{-\infty}^{\infty} x \cdot f_X(x) dx$

第二种方法有效是因为：

$$\mathbb{E}[X] = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} x \cdot f(x,y) dy dx = \int_{-\infty}^{\infty} x \left(\int_{-\infty}^{\infty} f(x,y) dy\right) dx = \int_{-\infty}^{\infty} x \cdot f_X(x) dx$$

与离散情况的联系

类似地，对于离散随机变量：

$$\mathbb{E}[X] = \sum_{x}\sum_{y} x \cdot p_{X,Y}(x,y) = \sum_{x} x \left(\sum_{y} p_{X,Y}(x,y)\right) = \sum_{x} x \cdot p_X(x)$$

这表明无论我们直接使用联合分布还是先计算边缘分布，我们都得到相同的期望。

条件期望

给定$X = x$时$Y$的条件期望为：

$$\mathbb{E}[Y|X = x] = \begin{cases} \sum_{y} y \cdot p_{Y|X}(y|x) & \text{（离散）} \\ \int_{-\infty}^{\infty} y \cdot f_{Y|X}(y|x) dy & \text{（连续）} \end{cases}$$

这导出了全期望公式：

$$\mathbb{E}[Y] = \mathbb{E}[\mathbb{E}[Y|X]]$$

证明全期望公式

离散情形只在 $p_X(x)>0$ 的地方定义条件均值，则

$$\sum_x E[Y\mid X=x]p_X(x) =\sum_{x:p_X(x)>0}\sum_y y\,p_{X,Y}(x,y) =E[Y].$$

边缘概率为零的点不贡献质量，条件值可以任意指定。$Y$ 绝对可积保证重新求和合法。存在联合密度时，把求和换成积分，在 $f_X(x)>0$ 处使用 $f_{Y\mid X}(y\mid x)f_X(x)=f_{X,Y}(x,y)$，再用 Fubini 定理即可。这证明了上面列出的两种情形，一般测度论条件期望还需要额外构造。

练习

练习离散均匀整数抽样

在集合 $\{1, 2, \ldots, 10^3\}$ 中等可能随机抽取一个整数 $N$。

1. $N$ 能被 3 整除的概率是多少？能被 5 整除？能被 7 整除？
2. 计算期望值 $\mathbb{E}[N]$。
3. 计算方差 $\mathbb{V}(N)$。

解

1. 整除概率：

   • 能被 3 整除的数有 $\lfloor 1000/3 \rfloor = 333$ 个，故 $P(3 \mid N) = \frac{333}{1000} = 0.333$。
   • 能被 5 整除的数有 $\lfloor 1000/5 \rfloor = 200$ 个，故 $P(5 \mid N) = \frac{200}{1000} = 0.200$。
   • 能被 7 整除的数有 $\lfloor 1000/7 \rfloor = 142$ 个，故 $P(7 \mid N) = \frac{142}{1000} = 0.142$。

2. 期望值： 对于集合 $\{1, 2, \ldots, n\}$ 上的离散均匀随机变量（此处 $n = 1000$）：

$$\mathbb{E}[N] = \frac{1}{n} \sum_{k=1}^{n} k = \frac{n(n+1)}{2n} = \frac{n+1}{2} = \frac{1001}{2} = 500.5.$$

3. 方差： 利用平方和公式 $\sum_{k=1}^n k^2 = \frac{n(n+1)(2n+1)}{6}$：

$$\mathbb{E}[N^2] = \frac{(n+1)(2n+1)}{6} = \frac{1001 \cdot 2001}{6} = 333833.5.$$$$\mathbb{V}(N) = \mathbb{E}[N^2] - (\mathbb{E}[N])^2 = \frac{n^2 - 1}{12} = \frac{1000^2 - 1}{12} = \frac{999999}{12} = 83333.25.$$

练习两次非对称抛硬币的正面总数

独立抛掷两枚硬币。第一枚正面朝上的概率为 $0.6$，第二枚正面朝上的概率为 $0.7$。设 $X$ 为正面朝上的总次数。求 $\mathbb{E}[X]$ 与 $\mathbb{V}(X)$。

解

设 $X_1 \sim \text{Bernoulli}(0.6)$ 与 $X_2 \sim \text{Bernoulli}(0.7)$ 分别为第一枚和第二枚硬币正面朝上的指示变量。则 $X = X_1 + X_2$。

• 由期望的线性性质：

$$\mathbb{E}[X] = \mathbb{E}[X_1] + \mathbb{E}[X_2] = 0.6 + 0.7 = 1.3.$$

• 由于两次抛掷相互独立：

$$\mathbb{V}(X) = \mathbb{V}(X_1) + \mathbb{V}(X_2) = 0.6(1 - 0.6) + 0.7(1 - 0.7) = 0.24 + 0.21 = 0.45.$$

练习二分查找猜数问题的提问次数期望

在数字集合 $\{1, 2, \dots, 10\}$ 中等可能随机选取一个数字。通过提出形如“该数是否严格大于 $k$”的是非问题，按照最优二分查找决策树来猜出该数。计算所需提问次数的数学期望。

解

在 10 个元素上建立最优二分查找树：

• 第一问提问 “$N > 5$？”（将空间划分为 $\{1..5\}$ 与 $\{6..10\}$）。
• 对于分支 $\{1..5\}$ 提问 “$N > 2$？”，对于分支 $\{6..10\}$ 提问 “$N > 7$？”。

决策树中的叶子深度：

• 提问 3 次即可确定的数字有 6 个。
• 提问 4 次才能确定的数字有 4 个。

由于 10 个数字等可能出现：

$$\mathbb{E}[\text{提问次数}] = \frac{6 \times 3 + 4 \times 4}{10} = \frac{18 + 16}{10} = 3.4.$$

练习圣彼得堡抛硬币博弈

重复抛掷一枚均匀硬币，直至第一次出现反面为止。若第一次反面出现在第 $n$ 次抛掷，玩家赢得 $2^n$ 元。设 $X$ 为玩家的收益，证明 $\mathbb{E}[X] = +\infty$。

解

首次出现反面的等待时间服从参数 $p = 1/2$ 的几何分布：

$$P(N = n) = \left(\frac{1}{2}\right)^{n-1} \cdot \frac{1}{2} = \frac{1}{2^n}, \quad n \in \{1, 2, 3, \ldots\}$$

当 $N = n$ 时收益为 $X = 2^n$。期望收益为：

$$\mathbb{E}[X] = \sum_{n=1}^{\infty} 2^n \cdot P(N = n) = \sum_{n=1}^{\infty} 2^n \cdot \frac{1}{2^n} = \sum_{n=1}^{\infty} 1 = +\infty.$$

练习校车乘客悖论（检验悖论）

4 辆载有 148 名学生的校车到达学校，4 辆车上的学生人数分别为 40、33、25 和 50 人。

1. 在 148 名学生中等可能随机抽取 1 名学生，设 $X$ 为该学生所在校车上的总人数。
2. 在 4 辆校车中等可能随机抽取 1 辆校车，设 $Y$ 为该校车上的学生人数。 分别计算 $\mathbb{E}[X]$ 与 $\mathbb{E}[Y]$，并解释两者差异。

解

1. 学生视角的期望 ($X$)： 抽中某辆车上学生的概率与该车的载客量成正比：

$$P(X = i) = \frac{i}{148}, \quad i \in \{40, 33, 25, 50\}$$$$\mathbb{E}[X] = \sum i \cdot \frac{i}{148} = \frac{40^2 + 33^2 + 25^2 + 50^2}{148} = \frac{1600 + 1089 + 625 + 2500}{148} = \frac{5814}{148} \approx 39.28.$$

2. 校车视角的期望 ($Y$)： 每辆车被抽中的概率均为 $\frac{1}{4}$：

$$\mathbb{E}[Y] = \frac{40 + 33 + 25 + 50}{4} = \frac{148}{4} = 37.0.$$

$\mathbb{E}[X] > \mathbb{E}[Y]$ 体现了概率论中著名的检验悖论（Inspection Paradox）：载客量更大的校车由于承载了更多学生，按人头抽样时更容易被命中。两者满足理论关系 $\mathbb{E}[X] = \mathbb{E}[Y] + \frac{\mathbb{V}(Y)}{\mathbb{E}[Y]}$。

练习校车悖论的方差计算

计算上述校车问题中随机变量 $X$ 与 $Y$ 的方差 $\mathbb{V}(X)$ 与 $\mathbb{V}(Y)$。

解

1. $X$ 的方差：

$$\mathbb{E}[X^2] = \frac{40^3 + 33^3 + 25^3 + 50^3}{148} = \frac{64000 + 35937 + 15625 + 125000}{148} = \frac{240562}{148} \approx 1625.42.$$$$\mathbb{V}(X) = \mathbb{E}[X^2] - (\mathbb{E}[X])^2 \approx 1625.42 - (39.2838)^2 \approx 1625.42 - 1543.22 = 82.20.$$

2. $Y$ 的方差：

$$\mathbb{E}[Y^2] = \frac{40^2 + 33^2 + 25^2 + 50^2}{4} = \frac{5814}{4} = 1453.5.$$$$\mathbb{V}(Y) = \mathbb{E}[Y^2] - (\mathbb{E}[Y])^2 = 1453.5 - 37^2 = 1453.5 - 1369 = 84.50.$$

练习天气预报的严格适定评分规则

气象预报员预报明天降雨的概率为 $p \in [0, 1]$。若实际下雨，预报员获得评分 $1 - (1 - p)^2$；若不下雨，获得评分 $1 - p^2$。设预报员内心真实的下雨概率信念为 $p^*$。为了最大化期望得分，预报员应该报告怎样的 $p$？

解

期望得分关于报告概率 $p$ 的函数为：

$$\begin{aligned} \mathbb{E}[\text{得分}] &= p^* \left[1 - (1 - p)^2\right] + (1 - p^*)\left[1 - p^2\right] \\ &= p^* [2p - p^2] + (1 - p^*)(1 - p^2) \\ &= 2p p^* - p^* p^2 + 1 - p^2 - p^* + p^* p^2 \\ &= 2p p^* - p^2 + 1 - p^*. \end{aligned}$$

对 $p$ 求导寻找极值：

$$\frac{d}{dp}\mathbb{E}[\text{得分}] = 2p^* - 2p.$$

令导数等于零，得到 $p = p^*$。二阶导数 $\frac{d^2}{dp^2}\mathbb{E}[\text{得分}] = -2 < 0$ 证明这是严格全局最大值点。因此该评分规则是严格适定的（strictly proper）：预报员当且仅当如实汇报真实信念 $p = p^*$ 时才能最大化期望得分。

练习累积分布函数商形式与独立性

说明为什么随机变量 $X_1, X_2, \ldots, X_n$ 的相互独立性不能采用累积分布函数的商形式来刻画：

$$\frac{F_{X_1, \ldots, X_n}(x_1, \ldots, x_n)}{F_{X_1}(x_1)} = F_{X_2}(x_2) \cdots F_{X_n}(x_n).$$

解

随机变量的独立性在本质上由联合概率的可乘性定义：$F_{X_1, \ldots, X_n}(x_1, \ldots, x_n) = \prod_{i=1}^n F_{X_i}(x_i)$。

商形式 $\frac{F_{X, Y}(x, y)}{F_X(x)}$ 隐含了条件概率形式 $P(Y \leq y \mid X \leq x)$。但独立性表达的是无需任何条件限制时各变量的无条件对称因式分解。此外，商形式在分母 $F_{X_1}(x_1) = 0$ 的区间无定义，无法完整覆盖全定义域。因此必须采用乘积形式而非商形式。

练习独立离散随机变量的线性组合与分布

设 $X$ 和 $Y$ 为相互独立的离散随机变量，其分布分别为：

$$\begin{array}{c|ccc} x & -1 & 0 & 1 \\ \hline P(X = x) & \frac{1}{6} & \frac{1}{3} & \frac{1}{2} \end{array} \qquad \begin{array}{c|ccc} y & 0 & 2 & 4 \\ \hline P(Y = y) & \frac{1}{4} & \frac{1}{2} & \frac{1}{4} \end{array}$$

令 $W = 3Y - 6X$ 以及 $Z = 2X + Y$。

1. 计算 $\mathbb{E}[X]$ 与 $\mathbb{V}(X)$。
2. 计算 $\mathbb{E}[W]$。
3. 列出 $Z$ 的概率分布表。

解

1. $X$ 的矩：

$$\mathbb{E}[X] = (-1)\left(\frac{1}{6}\right) + 0\left(\frac{1}{3}\right) + 1\left(\frac{1}{2}\right) = -\frac{1}{6} + \frac{3}{6} = \frac{1}{3}.$$$$\mathbb{E}[X^2] = (-1)^2\left(\frac{1}{6}\right) + 0^2\left(\frac{1}{3}\right) + 1^2\left(\frac{1}{2}\right) = \frac{1}{6} + \frac{3}{6} = \frac{2}{3}.$$$$\mathbb{V}(X) = \mathbb{E}[X^2] - (\mathbb{E}[X])^2 = \frac{2}{3} - \frac{1}{9} = \frac{5}{9}.$$

2. 期望 $\mathbb{E}[W]$： 先求 $\mathbb{E}[Y]$：

$$\mathbb{E}[Y] = 0\left(\frac{1}{4}\right) + 2\left(\frac{1}{2}\right) + 4\left(\frac{1}{4}\right) = 0 + 1 + 1 = 2.$$

由线性性质：

$$\mathbb{E}[W] = 3\mathbb{E}[Y] - 6\mathbb{E}[X] = 3(2) - 6\left(\frac{1}{3}\right) = 6 - 2 = 4.$$

3. $Z = 2X + Y$ 的分布： $2X$ 的取值集合为 $\{-2, 0, 2\}$，$Y$ 的取值集合为 $\{0, 2, 4\}$。 $Z = 2X + Y$ 的可能取值为 $\{-2, 0, 2, 4, 6\}$。 由于 $X, Y$ 独立，各组合概率为 $P(X=x, Y=y) = P(X=x)P(Y=y)$：
   • $P(Z = -2) = P(X=-1, Y=0) = \frac{1}{6} \cdot \frac{1}{4} = \frac{1}{24}$。

$$P(Z = 0) = P(X=-1, Y=2) + P(X=0, Y=0) = \frac{1}{6} \cdot \frac{1}{2} + \frac{1}{3} \cdot \frac{1}{4} = \frac{1}{12} + \frac{1}{12} = \frac{1}{6}$$

。

$$P(Z = 2) = P(X=-1, Y=4) + P(X=0, Y=2) + P(X=1, Y=0) = \frac{1}{24} + \frac{1}{6} + \frac{1}{8} = \frac{1}{3}$$

。

• $P(Z = 4) = P(X=0, Y=4) + P(X=1, Y=2) = \frac{1}{12} + \frac{1}{4} = \frac{1}{3}$。
• $P(Z = 6) = P(X=1, Y=4) = \frac{1}{2} \cdot \frac{1}{4} = \frac{1}{8}$。

$$\begin{array}{c|ccccc} z & -2 & 0 & 2 & 4 & 6 \\ \hline P(Z = z) & \frac{1}{24} & \frac{1}{6} & \frac{1}{3} & \frac{1}{3} & \frac{1}{8} \end{array}$$

练习独立随机变量方差可加性的数学归纳法证明

证明对于任意两两独立的有限方差随机变量序列 $\{X_1, X_2, \ldots, X_n\}$，满足：

$$\mathbb{V}\left(\sum_{i=1}^n X_i\right) = \sum_{i=1}^n \mathbb{V}(X_i).$$

证明

对序列长度 $n$ 使用数学归纳法。

基础步骤 ($n=1, 2$)：$n=1$ 时显然成立。当 $n=2$ 时：

$$\begin{aligned} \mathbb{V}(X_1 + X_2) &= \mathbb{E}[(X_1 + X_2)^2] - (\mathbb{E}[X_1 + X_2])^2 \\ &= \mathbb{E}[X_1^2] + 2\mathbb{E}[X_1 X_2] + \mathbb{E}[X_2^2] - (\mathbb{E}[X_1] + \mathbb{E}[X_2])^2. \end{aligned}$$

由于 $X_1, X_2$ 独立，$\mathbb{E}[X_1 X_2] = \mathbb{E}[X_1]\mathbb{E}[X_2]$，交叉项抵消：

$$\mathbb{V}(X_1 + X_2) = (\mathbb{E}[X_1^2] - \mathbb{E}[X_1]^2) + (\mathbb{E}[X_2^2] - \mathbb{E}[X_2]^2) = \mathbb{V}(X_1) + \mathbb{V}(X_2).$$

归纳步骤：假设当 $n=k$ 时结论成立，即 $\mathbb{V}\left(\sum_{i=1}^k X_i\right) = \sum_{i=1}^k \mathbb{V}(X_i)$。 当 $n=k+1$ 时，记 $S_k = \sum_{i=1}^k X_i$。由于 $X_{k+1}$ 与 $X_1, \dots, X_k$ 均独立，它与前 $k$ 项的和 $S_k$ 亦相互独立。应用两变量方差可加性公式：

$$\mathbb{V}(S_k + X_{k+1}) = \mathbb{V}(S_k) + \mathbb{V}(X_{k+1}) = \sum_{i=1}^k \mathbb{V}(X_i) + \mathbb{V}(X_{k+1}) = \sum_{i=1}^{k+1} \mathbb{V}(X_i).$$

由数学归纳法原理，该性质对所有 $n \geq 1$ 均成立。