概率分布

概率分布是描述随机变量不同结果可能性的数学函数。它们为随机现象的概率结构提供了完整描述，是统计分析和机器学习的基础。

概述

概率分布可以根据随机变量的性质进行分类：离散（可数结果）、连续（区间内的不可数结果）或混合（组合）。每个分布的特征由其支撑集（可能值）、概率函数（离散为PMF，连续为PDF）、累积分布函数、参数和矩来描述。

定义概率分布

概率分布是函数或规则，它为随机实验的结果或更一般地为样本空间中的事件分配概率。 设 $X$ 为随机变量，则 $X$ 的概率分布由其离散变量的概率质量函数（PMF）或连续变量的概率密度函数（PDF）定义。

不失一般性，我们可以将随机变量 $X$ 的分布定义如下：

$$P(X = x) = f(x)$$

对于离散变量，其中 $f(x)$ 是PMF，而

$$P(X \leq x) = F(x)$$

对于连续变量，其中 $F(x)$ 是累积分布函数（CDF）。 PMF和PDF必须满足非负性和归一化性质：

• 对于离散变量：$\sum_{x} P(X = x) = 1$
• 对于连续变量：$\int_{-\infty}^{\infty} f(x) dx = 1$

离散概率分布

先看随机变量统计的是什么，再区分伯努利、二项、几何与泊松分布。图中参数仅作示例。

伯努利分布

建模具有两个可能结果（成功/失败）的单次试验

参数：$p$（成功概率），其中 $0 \leq p \leq 1$

支撑集：$x \in \{0, 1\}$

PMF：$P(X = x) = p^x(1-p)^{1-x}$

矩计算：

对于期望值：

$$\begin{aligned} \mathbb{E}[X] &= \sum_{x=0}^{1} x \cdot P(X = x) \\ &= 0 \cdot (1-p) + 1 \cdot p \\ &= p \end{aligned}$$

对于二阶矩：

$$\begin{aligned} \mathbb{E}[X^2] &= \sum_{x=0}^{1} x^2 \cdot P(X = x) \\ &= 0^2 \cdot (1-p) + 1^2 \cdot p \\ &= p \end{aligned}$$

因此，方差为：

$$\begin{aligned} \mathbb{V}(X) &= \mathbb{E}[X^2] - (\mathbb{E}[X])^2 \\ &= p - p^2 \\ &= p(1-p) \end{aligned}$$

应用：硬币翻转、二元结果、指示变量

---

二项分布

建模 $n$ 次独立伯努利试验中的成功次数

参数：$n$（试验次数），$p$（成功概率）

支撑集：$x \in \{0, 1, 2, ..., n\}$

PMF：$P(X = x) = \binom{n}{x} p^x(1-p)^{n-x}$

矩计算：

期望值可以使用期望的线性性质推导。由于 $X = \sum_{i=1}^{n} X_i$，其中 $X_i \sim \text{伯努利}(p)$：

$$\begin{aligned} \mathbb{E}[X] &= \mathbb{E}\left[\sum_{i=1}^{n} X_i\right] \\ &= \sum_{i=1}^{n} \mathbb{E}[X_i] \\ &= \sum_{i=1}^{n} p \\ &= np \end{aligned}$$

对于方差，由于 $X_i$ 是独立的：

$$\begin{aligned} \mathbb{V}(X) &= \mathbb{V}\left(\sum_{i=1}^{n} X_i\right) \\ &= \sum_{i=1}^{n} \mathbb{V}(X_i) \\ &= \sum_{i=1}^{n} p(1-p) \\ &= np(1-p) \end{aligned}$$

或者，我们可以直接计算：

$$\begin{aligned} \mathbb{E}[X] &= \sum_{x=0}^{n} x \binom{n}{x} p^x(1-p)^{n-x} \\ &= np\sum_{x=1}^{n} \binom{n-1}{x-1} p^{x-1}(1-p)^{n-x} \\ &= np \end{aligned}$$

应用：质量控制、调查抽样、临床试验

源章节里有一个 $n=5$ 的公平硬币二项分布例子。出现 $0$ 到 $5$ 次正面的概率分别是 $\frac{1}{32},\frac{5}{32},\frac{10}{32},\frac{10}{32},\frac{5}{32},\frac{1}{32}$。

---

超几何分布

名字看起来像几何分布，其实没有亲戚关系。它得名于出现在概率质量函数里的超几何函数。和伯努利型分布不同，超几何随机变量描写的是无放回抽取，各次抽取彼此依赖。

定义超几何分布

从大小为 $N$、其中有 $K$ 个成功的总体里无放回抽 $n$ 次，成功次数 $k$ 服从超几何分布。概率质量函数为

$$P(X = k) = \frac{\binom{K}{k} \binom{N-K}{n-k}}{\binom{N}{n}}, \quad \max(0, n-(N-K)) \leq k \leq \min(K,n).$$

组合上看：从 $K$ 个成功里选 $k$ 个，从 $N-K$ 个失败里选 $n-k$ 个，再除以从 $N$ 个里选 $n$ 个的方法数。

例无放回抽红球

$20$ 个球里有 $8$ 个红球、$12$ 个蓝球。无放回抽 $5$ 个。记 $X$ 为抽到的红球数。则 $X$ 是参数 $N=20$、$K=8$、$n=5$ 的超几何分布，并且

$$P(X=3)=\frac{\binom{8}{3}\binom{12}{2}}{\binom{20}{5}}=\frac{56\cdot 66}{15504}=\frac{3696}{15504}\approx 0.2383.$$

定理超几何分布的期望与方差

设整数参数满足 $N>1$、$0\le K\le N$、$0\le n\le N$。若 $X$ 服从对应的超几何分布，则

$$\mathbb{E}[X] = n\frac{K}{N}, \qquad \operatorname{Var}(X) = n\frac{K}{N}\left(1-\frac{K}{N}\right)\frac{N-n}{N-1}.$$

证明

写 $X=\sum_{i=1}^{n} I_i$，其中第 $i$ 次抽到成功时 $I_i=1$。每个 $I_i$ 的期望都是 $K/N$，线性性给出 $\mathbb{E}[X]=nK/N$。

二阶矩用 $E[X(X-1)]=n(n-1)\frac{K(K-1)}{N(N-1)}$，于是

$$E[X^2]=n(n-1)\frac{K(K-1)}{N(N-1)}+n\frac{K}{N}.$$

减去 $(E[X])^2$ 再整理，就得到方差公式。

令 $p=K/N$，则 $\operatorname{Var}(X)=np(1-p)\frac{N-n}{N-1}$。当 $N$ 相对 $n$ 很大时，多出来的因子接近 $1$，方差就接近二项分布的 $np(1-p)$。

应用：无放回抽样、质量控制、生态调查

---

泊松分布

建模固定区间内发生的事件数量

参数：$\lambda$（率参数），其中 $\lambda > 0$

支撑集：$x \in \{0, 1, 2, ...\}$

PMF：$P(X = x) = \frac{e^{-\lambda}\lambda^x}{x!}$

矩计算：

对于期望值：

$$\begin{aligned} \mathbb{E}[X] &= \sum_{x=0}^{\infty} x \cdot \frac{e^{-\lambda}\lambda^x}{x!} \\ &= e^{-\lambda}\sum_{x=1}^{\infty} \frac{\lambda^x}{(x-1)!} \\ &= e^{-\lambda}\lambda\sum_{x=1}^{\infty} \frac{\lambda^{x-1}}{(x-1)!} \end{aligned}$$

令 $k = x-1$：

$$\begin{aligned} \mathbb{E}[X] &= e^{-\lambda}\lambda\sum_{k=0}^{\infty} \frac{\lambda^k}{k!} \\ &= e^{-\lambda}\lambda e^{\lambda} \\ &= \lambda \end{aligned}$$

对于二阶矩：

$$\begin{aligned} \mathbb{E}[X^2] &= \sum_{x=0}^{\infty} x^2 \cdot \frac{e^{-\lambda}\lambda^x}{x!} \\ &= e^{-\lambda}\sum_{x=1}^{\infty} x \cdot \frac{\lambda^x}{(x-1)!} \end{aligned}$$

令 $k = x-1$：

$$\begin{aligned} \mathbb{E}[X^2] &= e^{-\lambda}\sum_{k=0}^{\infty} (k+1) \cdot \frac{\lambda^{k+1}}{k!} \\ &= e^{-\lambda}\lambda\sum_{k=0}^{\infty} (k+1) \cdot \frac{\lambda^k}{k!} \\ &= e^{-\lambda}\lambda\left(\sum_{k=0}^{\infty} k \cdot \frac{\lambda^k}{k!} + \sum_{k=0}^{\infty} \frac{\lambda^k}{k!}\right) \\ &= e^{-\lambda}\lambda(\lambda e^{\lambda} + e^{\lambda}) \\ &= \lambda(\lambda + 1) \end{aligned}$$

因此：

$$\begin{aligned} \mathbb{V}(X) &= \mathbb{E}[X^2] - (\mathbb{E}[X])^2 \\ &= \lambda(\lambda + 1) - \lambda^2 \\ &= \lambda \end{aligned}$$

性质：泊松分布是二项分布 $B(n,p)$ 当 $n \to \infty$，$p \to 0$ 且 $np = \lambda$ 时的极限。

应用：呼叫中心、交通流量、放射性衰变、稀有事件

源章节还画了卢瑟福 $\alpha$ 粒子计数的直方图，下图用的是那里的表列概率。

证明泊松极限

固定非负整数 $k$，取 $p=\lambda/n$。当 $n\ge k$ 且 $n>\lambda$ 时，

$$\binom nk(\lambda/n)^k(1-\lambda/n)^{n-k} =\frac{\lambda^k}{k!}\prod_{j=0}^{k-1}(1-j/n) (1-\lambda/n)^n(1-\lambda/n)^{-k}.$$

$\lambda^k/k!$ 后面的三个因子分别趋于 $1,e^{-\lambda},1$，所以每个点概率都趋向泊松 PMF。对有限多个点求和，就得到分布函数在每个有限非整数处的收敛。

几何分布

独立做伯努利试验，每次成功的概率为 $p$，一直做到第一次成功。记下这时已经做了多少次，就得到几何分布。

定义几何分布

设 $Y$ 是第一次成功出现时已经进行的试验次数（成功那一次也计入），则 $Y$ 服从参数为 $p$ 的几何分布。概率质量函数为

$$P(Y=k)=(1-p)^{k-1}p,\qquad k=1,2,3,\ldots$$

序列是固定的：$k-1$ 次失败，紧接着一次成功，因此没有二项系数。这些概率构成首项为 $p$、公比为 $1-p$ 的几何数列，并且求和为 $1$：

$$\sum_{n=1}^{\infty}P\{X=n\}=p\sum_{n=1}^{\infty}(1-p)^{n-1}=\frac{p}{1-(1-p)}=1.$$

例第一次罚中

一名篮球运动员罚球命中的概率是 $p=0.3$。第一次命中出现在第 $4$ 次出手的概率是多少？

解

设 $X$ 为第一次命中时的出手序号。则

$$P(X=4)=(0.7)^3\cdot 0.3=0.1029.$$

定理几何分布的期望与方差

若 $X$ 服从参数为 $p$ 的几何分布，则

$$\mathbb{E}[X]=\frac{1}{p},\qquad \operatorname{Var}(X)=\frac{1-p}{p^2}.$$

证明

先设 $0<p<1$，令 $q=1-p$。由比值判别，$kq^{k-1}$ 与 $k^2q^{k-1}$ 的级数收敛，所以下面的期望有限，可以重排。按第一次试验分类：失败后 $X=1+X'$，其中 $X'$ 与原来的几何变量同分布。记 $m=E[X]$、$s=E[X^2]$，则

$$m=p+q(1+m)=1+qm,$$

故 $m=1/p$。再对平方做完整展开：

$$s=p+q(1+2m+s)=1+2qm+qs.$$

于是 $s=(1+2q/p)/p=(2-p)/p^2$，减去 $m^2$ 即得方差 $(1-p)/p^2$。若 $p=1$，则 $X=1$ 几乎处处成立，公式仍适用；$p=0$ 时没有有限等待时间，必须排除。

其他离散分布

本节待撰写 / 占位标记

源讲义在提纲中列举了若干进阶离散分布族：离散均匀分布、负二项分布、Zeta-Bernoulli 分布、对数级数分布与 Zipf 分布。完整的定义、PMF 表达与矩计算公式已列入后续撰写队列。

连续概率分布

正态（高斯）分布

统计学中最重要的连续分布

参数：$\mu$（均值），$\sigma^2$（方差）

支撑集：$x \in (-\infty, \infty)$

PDF：$f(x) = \frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}$

矩计算：

对于标准正态分布 $Z \sim N(0,1)$：

期望值为：

$$\begin{aligned} \mathbb{E}[Z] &= \int_{-\infty}^{\infty} z \cdot \frac{1}{\sqrt{2\pi}} e^{-z^2/2} dz \\ &= 0 \end{aligned}$$

这是因为被积函数是奇函数且积分收敛。

对于方差：

$$\begin{aligned} \mathbb{E}[Z^2] &= \int_{-\infty}^{\infty} z^2 \cdot \frac{1}{\sqrt{2\pi}} e^{-z^2/2} dz \end{aligned}$$

使用分部积分，设 $u = z$，$dv = z e^{-z^2/2} dz$：

$$\begin{aligned} \mathbb{E}[Z^2] &= \frac{1}{\sqrt{2\pi}} \left[ -z e^{-z^2/2} \right]_{-\infty}^{\infty} + \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{\infty} e^{-z^2/2} dz \\ &= 0 + 1 \\ &= 1 \end{aligned}$$

因此，$\mathbb{V}(Z) = \mathbb{E}[Z^2] - (\mathbb{E}[Z])^2 = 1 - 0 = 1$。

对于一般正态分布 $X = \mu + \sigma Z$：

$$\begin{aligned} \mathbb{E}[X] &= \mathbb{E}[\mu + \sigma Z] \\ &= \mu + \sigma \mathbb{E}[Z] \\ &= \mu \end{aligned}$$ $$\begin{aligned} \mathbb{V}(X) &= \mathbb{V}[\mu + \sigma Z] \\ &= \sigma^2 \mathbb{V}(Z) \\ &= \sigma^2 \end{aligned}$$

条件：相互独立的正态变量的线性组合仍为正态，可反复应用下证与仿射变换公式得到；只有各边缘分布为正态并不够。独立同分布的中心极限定理讨论的是中心化后再除以 $\sigma\sqrt n$ 的和，要求有限正方差；其一般证明属于尚待撰写的概率极限章节。

可加性性质：如果 $X \sim N(\mu_1, \sigma_1^2)$ 和 $Y \sim N(\mu_2, \sigma_2^2)$ 独立，则：

$$X + Y \sim N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)$$

证明可加性

独立性给出卷积密度 $f_{X+Y}(z)=\int f_X(x)f_Y(z-x)\,dx$：先在 $x+y\le z$ 上积分联合密度，再对 $z$ 求导即可。记 $v=\sigma_1^2+\sigma_2^2$，并令

$$m_z=\frac{\sigma_2^2\mu_1+\sigma_1^2(z-\mu_2)}{v}.$$

配方得到

$$\frac{(x-\mu_1)^2}{\sigma_1^2} +\frac{(z-x-\mu_2)^2}{\sigma_2^2} =\frac{v(x-m_z)^2}{\sigma_1^2\sigma_2^2} +\frac{(z-\mu_1-\mu_2)^2}{v}.$$

第一个高斯因子的积分为 $\sqrt{2\pi}\sigma_1\sigma_2/\sqrt v$，连同原来两个密度的归一化因子，留下

$$f_{X+Y}(z)=\frac1{\sqrt{2\pi v}} \exp\left(-\frac{(z-\mu_1-\mu_2)^2}{2v}\right),$$

正是所求正态密度。若某个方差为零，对应变量为常量，直接平移便得到结论。

证明使用矩生成函数

$X \sim N(\mu, \sigma^2)$ 的矩生成函数为：

$$M_X(t) = e^{\mu t + \frac{1}{2}\sigma^2 t^2}$$

对于独立的 $X$ 和 $Y$：

$$M_{X+Y}(t) = M_X(t) \cdot M_Y(t) = e^{\mu_1 t + \frac{1}{2}\sigma_1^2 t^2} \cdot e^{\mu_2 t + \frac{1}{2}\sigma_2^2 t^2} = e^{(\mu_1 + \mu_2)t + \frac{1}{2}(\sigma_1^2 + \sigma_2^2)t^2}$$

这是 $N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)$ 的矩生成函数，证明了结果。

应用：自然现象、测量误差、统计推断

---

指数分布

建模泊松过程中事件之间的时间

参数：$\lambda$（率参数），其中 $\lambda > 0$

支撑集：$x \in [0, \infty)$

PDF：$f(x) = \lambda e^{-\lambda x}$ 对于 $x \geq 0$

矩计算：

对于期望值：

$$\begin{aligned} \mathbb{E}[X] &= \int_{0}^{\infty} x \lambda e^{-\lambda x} dx \end{aligned}$$

使用分部积分，设 $u = x$，$dv = \lambda e^{-\lambda x} dx$：

$$\begin{aligned} \mathbb{E}[X] &= \left[ -x e^{-\lambda x} \right]_{0}^{\infty} + \int_{0}^{\infty} e^{-\lambda x} dx \\ &= 0 + \left[ -\frac{1}{\lambda} e^{-\lambda x} \right]_{0}^{\infty} \\ &= \frac{1}{\lambda} \end{aligned}$$

对于二阶矩：

$$\begin{aligned} \mathbb{E}[X^2] &= \int_{0}^{\infty} x^2 \lambda e^{-\lambda x} dx \end{aligned}$$

使用分部积分，设 $u = x^2$，$dv = \lambda e^{-\lambda x} dx$：

$$\begin{aligned} \mathbb{E}[X^2] &= \left[ -x^2 e^{-\lambda x} \right]_{0}^{\infty} + \int_{0}^{\infty} 2x e^{-\lambda x} dx \\ &= 0 + \frac{2}{\lambda} \int_{0}^{\infty} x \lambda e^{-\lambda x} dx \\ &= \frac{2}{\lambda} \cdot \frac{1}{\lambda} \\ &= \frac{2}{\lambda^2} \end{aligned}$$

因此：

$$\begin{aligned} \mathbb{V}(X) &= \mathbb{E}[X^2] - (\mathbb{E}[X])^2 \\ &= \frac{2}{\lambda^2} - \left(\frac{1}{\lambda}\right)^2 \\ &= \frac{1}{\lambda^2} \end{aligned}$$

性质：无记忆性：$P(X > s+t | X > s) = P(X > t)$

应用：可靠性工程、排队论、生存分析

---

证明指数分布的无记忆性

对 $u\ge0$ 积分密度，得 $P(X>u)=e^{-\lambda u}$。当 $s,t\ge0$ 时，事件 $X>s+t$ 包含于 $X>s$，后者概率为正，因此

$$P(X>s+t\mid X>s)=\frac{e^{-\lambda(s+t)}}{e^{-\lambda s}}=e^{-\lambda t}=P(X>t).$$

伽马分布（选学）

推广指数分布，建模等待时间

参数：$\alpha$（形状），$\beta$（率），都 $> 0$

支撑集：$x \in [0, \infty)$

PDF：$f(x) = \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x}$ 对于 $x \geq 0$

矩计算：

矩生成函数为：

$$\begin{aligned} M_X(t) &= \mathbb{E}[e^{tX}] \\ &= \int_{0}^{\infty} e^{tx} \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x} dx \\ &= \frac{\beta^\alpha}{\Gamma(\alpha)} \int_{0}^{\infty} x^{\alpha-1} e^{-(\beta-t)x} dx \\ &= \frac{\beta^\alpha}{\Gamma(\alpha)} \cdot \frac{\Gamma(\alpha)}{(\beta-t)^\alpha} \\ &= \left(\frac{\beta}{\beta-t}\right)^\alpha \text{ 对于 } t < \beta \end{aligned}$$

使用MGF求矩：

$$\begin{aligned} \mathbb{E}[X] &= M_X'(0) \\ &= \alpha \beta^{\alpha} (\beta-t)^{-\alpha-1} \Big|_{t=0} \\ &= \alpha \beta^{\alpha} \beta^{-\alpha-1} \\ &= \frac{\alpha}{\beta} \end{aligned}$$ $$\begin{aligned} \mathbb{E}[X^2] &= M_X''(0) \\ &= \alpha(\alpha+1)\beta^{\alpha} (\beta-t)^{-\alpha-2} \Big|_{t=0} \\ &= \frac{\alpha(\alpha+1)}{\beta^2} \end{aligned}$$

因此：

$$\begin{aligned} \mathbb{V}(X) &= \mathbb{E}[X^2] - (\mathbb{E}[X])^2 \\ &= \frac{\alpha(\alpha+1)}{\beta^2} - \frac{\alpha^2}{\beta^2} \\ &= \frac{\alpha}{\beta^2} \end{aligned}$$

整数形状情形：只有 $\alpha$ 为正整数时，才能解释为 $\alpha$ 个独立指数变量之和；非整数形状不能解释成求和项的个数。

应用：贝叶斯统计、降雨建模、保险

---

补充定义 $\Gamma(a)=\int_0^\infty u^{a-1}e^{-u}\,du$，其中 $a>0$。分部积分给出 $\Gamma(a+1)=a\Gamma(a)$，且 $\Gamma(1)=1$，所以正整数 $k$ 满足 $\Gamma(k)=(k-1)!$。代换 $u=\beta x$ 就能验证伽马密度的积分为一。密度公式按 $x>0$ 使用；零点处的取值不影响分布。

整数形状的求和性质可用卷积归纳证明。若 $k$ 个指数变量的和具有密度 $\beta^kx^{k-1}e^{-\beta x}/(k-1)!$，再与一个指数密度卷积，就有

$$\int_0^x\frac{\beta^ku^{k-1}e^{-\beta u}}{(k-1)!}\beta e^{-\beta(x-u)}\,du =\frac{\beta^{k+1}x^ke^{-\beta x}}{k!}.$$

基例正是指数密度本身。

逻辑分布（选学）

建模增长曲线和二元选择模型

参数：$\mu$（位置），$s$（尺度），其中 $s > 0$

支撑集：$x \in (-\infty, \infty)$

PDF：$f(x) = \frac{e^{-(x-\mu)/s}}{s(1+e^{-(x-\mu)/s})^2}$

矩计算：

累积分布函数为：

$$F(x) = \frac{1}{1+e^{-(x-\mu)/s}}$$

对于标准逻辑分布，其中 $\mu = 0$ 且 $s = 1$：

$$f(x) = \frac{e^{-x}}{(1+e^{-x})^2}$$

期望值可以使用对称性求得：

$$\begin{aligned} \mathbb{E}[X] &= \int_{-\infty}^{\infty} x \cdot \frac{e^{-x}}{(1+e^{-x})^2} dx \end{aligned}$$

令 $u = -x$，则：

$$\begin{aligned} \mathbb{E}[X] &= \int_{\infty}^{-\infty} (-u) \cdot \frac{e^{u}}{(1+e^{u})^2} (-du) \\ &= \int_{-\infty}^{\infty} (-u) \cdot \frac{e^{u}}{(1+e^{u})^2} du \end{aligned}$$

使用恒等式 $\frac{e^{u}}{(1+e^{u})^2} = \frac{e^{-u}}{(1+e^{-u})^2}$：

$$\begin{aligned} \mathbb{E}[X] &= -\int_{-\infty}^{\infty} u \cdot \frac{e^{-u}}{(1+e^{-u})^2} du \\ &= -\mathbb{E}[X] \end{aligned}$$

因此，$\mathbb{E}[X] = 0$。

对于方差：

$$\begin{aligned} \mathbb{E}[X^2] &= \int_{-\infty}^{\infty} x^2 \cdot \frac{e^{-x}}{(1+e^{-x})^2} dx \end{aligned}$$

使用替换 $u = \frac{1}{1+e^{-x}}$，这给出 $x = \ln\left(\frac{u}{1-u}\right)$ 和 $dx = \frac{du}{u(1-u)}$：

$$\begin{aligned} \mathbb{E}[X^2] &= \int_{0}^{1} \left[\ln\left(\frac{u}{1-u}\right)\right]^2 du \end{aligned}$$

证明逻辑分布二阶矩的积分计算

对 $x\ge0$，标准逻辑分布的密度不超过 $e^{-x}$，所以一阶、二阶绝对矩都有限，前面的对称性论证成立。分部积分给出 $\int_0^1\log^2u\,du=2$。展开 $-\log(1-u)=\sum_{n\ge1}u^n/n$，再对非负项使用单调收敛定理，得到

$$\begin{aligned} \int_0^1\log u\log(1-u)\,du &=\sum_{n\ge1}\frac{1}{n(n+1)^2}\\ &=\sum_{n\ge1}\left(\frac1n-\frac1{n+1}-\frac1{(n+1)^2}\right) =2-\sum_{n\ge1}\frac1{n^2}. \end{aligned}$$

其中 $\int_0^1(-\log u)u^n\,du=1/(n+1)^2$ 也由分部积分得到。将 $\log u-\log(1-u)$ 的平方展开，即得

$$\int_0^1\log^2\frac{u}{1-u}\,du=2\sum_{n\ge1}\frac1{n^2}=\frac{\pi^2}{3}.$$

最后一步使用 Basel 恒等式 $\sum n^{-2}=\pi^2/6$。本系列尚未证明这条恒等式：上面的积分归约已经完成，但级数的精确求值仍是一项明确的分析前置依赖。

对于一般逻辑分布 $X = \mu + sZ$，其中 $Z \sim \text{逻辑}(0,1)$：

$$\begin{aligned} \mathbb{E}[X] &= \mu + s\mathbb{E}[Z] \\ &= \mu \end{aligned}$$ $$\begin{aligned} \mathbb{V}(X) &= s^2\mathbb{V}(Z) \\ &= \frac{s^2\pi^2}{3} \end{aligned}$$

Gumbel 变量之差。 设 $G_1,G_2$ 独立，具有相同位置参数 $\mu$ 和尺度参数 $s>0$，CDF 为 $\exp(-e^{-(x-\mu)/s})$。令 $E_i=e^{-(G_i-\mu)/s}$，直接代入可得 $P(E_i>t)=e^{-t}$（$t>0$），所以二者是独立的单位参数指数变量。因此

$$\begin{aligned} P(G_1-G_2\le z) &=P(E_2\le e^{z/s}E_1)\\ &=\int_0^\infty(1-e^{-e^{z/s}t})e^{-t}\,dt =\frac1{1+e^{-z/s}}. \end{aligned}$$

这就是 Logistic$(0,s)$ 的 CDF。若位置参数不同，差值的位置参数变为 $\mu_1-\mu_2$；独立性和相同尺度是这里必需的条件。

应用：逻辑回归、选择建模、增长曲线

---

更多关于随机变量及其性质的详细信息，请参见随机变量。

关于期望和方差计算，请参见期望和方差。

练习

练习基于指示变量推导二项分布的矩

设随机变量 $X \sim \text{Binomial}(n, p)$。利用将 $X$ 表示为独立同分布的伯努利随机变量之和的方法，推导期望 $\mathbb{E}[X]$ 与方差 $\mathbb{V}(X)$ 的计算公式。

解

将二项随机变量 $X$ 表示为 $n$ 个相互独立的指示随机变量之和：

$$X = \sum_{i=1}^n I_i$$

其中每个 $I_i \sim \text{Bernoulli}(p)$，取值概率为：

$$P(I_i = 1) = p, \quad P(I_i = 0) = 1 - p.$$

1. 单个指示变量 $I_i$ 的期望：

$$\mathbb{E}[I_i] = 1 \cdot p + 0 \cdot (1 - p) = p.$$

利用期望的线性性质：

$$\mathbb{E}[X] = \mathbb{E}\left[\sum_{i=1}^n I_i\right] = \sum_{i=1}^n \mathbb{E}[I_i] = \sum_{i=1}^n p = np.$$

2. 单个指示变量 $I_i$ 的方差：

$$\mathbb{E}[I_i^2] = 1^2 \cdot p + 0^2 \cdot (1 - p) = p.$$$$\mathbb{V}(I_i) = \mathbb{E}[I_i^2] - (\mathbb{E}[I_i])^2 = p - p^2 = p(1 - p).$$

由于各次试验 $I_1, I_2, \dots, I_n$ 相互独立，方差具有完全可加性：

$$\mathbb{V}(X) = \mathbb{V}\left(\sum_{i=1}^n I_i\right) = \sum_{i=1}^n \mathbb{V}(I_i) = \sum_{i=1}^n p(1 - p) = np(1 - p).$$

练习二项分布概率质量函数的递推关系

1. 证明对于 $X \sim \text{Binomial}(n, p)$，其概率质量函数对任意 $k \in \{0, 1, \dots, n-1\}$ 满足以下递推关系式：

$$P(X = k+1) = \frac{p}{1-p} \cdot \frac{n-k}{k+1} \cdot P(X = k).$$

2. 确定该递推关系的初始基准项（Base Case）。
3. 阐明在计算机程序中使用该递推公式生成概率分布表相比直接计算阶乘的算法优势。

解

1. 递推比值的推导： 由二项分布 PMF 的定义公式：

$$P(X = k) = \frac{n!}{k!(n-k)!} p^k (1-p)^{n-k},$$$$P(X = k+1) = \frac{n!}{(k+1)!(n-k-1)!} p^{k+1} (1-p)^{n-k-1}.$$

计算相邻两项的商：

$$\frac{P(X = k+1)}{P(X = k)} = \frac{\frac{n!}{(k+1)!(n-k-1)!} p^{k+1} (1-p)^{n-k-1}}{\frac{n!}{k!(n-k)!} p^k (1-p)^{n-k}} = \frac{k!(n-k)!}{(k+1)!(n-k-1)!} \cdot \frac{p^{k+1}(1-p)^{n-k-1}}{p^k(1-p)^{n-k}}.$$

化简阶乘与幂次因子：

$$\frac{k!}{(k+1)!} = \frac{1}{k+1}, \qquad \frac{(n-k)!}{(n-k-1)!} = n - k, \qquad \frac{p^{k+1}(1-p)^{n-k-1}}{p^k(1-p)^{n-k}} = \frac{p}{1-p}.$$

整理即得递推关系式：

$$P(X = k+1) = \frac{p}{1-p} \cdot \frac{n-k}{k+1} \cdot P(X = k).$$

2. 初始基准项： 递推从 $k=0$ 开始，对应 0 次成功的概率：

$$P(X = 0) = (1 - p)^n.$$

3. 算法与数值计算优势： 直接计算组合数 $\binom{n}{k} = \frac{n!}{k!(n-k)!}$ 需要计算极大整数的阶乘，当 $n$ 稍大时（例如在 64 位 IEEE 754 浮点数下 $n > 170$）阶乘会迅速发生数值溢出（Floating-point Overflow）。通过递推公式，计算每个后续概率 $P(X=k+1)$ 仅需常数次浮点乘除法，不仅能在 $O(n)$ 时间内顺序求出全部分布值，也避免了阶乘溢出，但不能保证数值稳定：起始值 $(1-p)^n$ 可能下溢，舍入误差也可能累积。比值推导要求 $0<p<1$；$p=0,1$ 时单独按点质量处理。