条件概率与独立性 | 杨星宇

条件概率描述的是：已经知道一件事发生之后，另一件事的可能性怎样变化。统计、金融、医学里到处都是这种“带着已知信息再估概率”的问题。

本章先给出条件概率的定义和乘法公式，再讲独立性、贝叶斯定理，以及把条件概率本身当成一种新的概率测度来用。

条件概率

条件概率就是给原有概率再加约束。直观上，这相当于把样本空间压缩到已知事件里，再在这块更小的空间上重新度量。

基本条件概率

定义条件概率

设 $A$ 、 $B$ 是同一概率空间中的事件，且 $P(B)>0$ 。事件 $A$ 在条件 $B$ 下的概率定义为

P(A \mid B) = \frac{P(A \cap B)}{P(B)}.

注定义的前提

$P(B)=0$ 时这个比值没有定义。直观上， $P(A\mid B)$ 就是在得知 $B$ 已经发生之后，对 $A$ 的可能性所作的更新。

证明

需要说明 $P(E\mid F)=\frac{P(EF)}{P(F)}$ 与概率公理相容。

设样本空间为 $\Omega$ ， $F\subseteq\Omega$ 且 $P(F)>0$ 。 $EF$ 表示 $E$ 与 $F$ 同时发生。

在频率解释下，重复大量试验后， $P(F)$ 是 $F$ 出现的比例， $P(EF)$ 是两者同时出现的比例。一旦已知 $F$ 发生，新的样本空间就限制在 $F$ 上。此时 $E$ 的概率，就是 $F$ 里同时属于 $E$ 的那一部分所占的比例，也就是 $EF$ 在 $F$ 中的份额：

P(E \mid F) = \frac{P(EF)}{P(F)}.

因此这个定义是把原概率测度限制到条件空间 $F$ 上之后的自然延拓。

下面用掷骰子把这件事写清楚。

例两次掷骰，已知第一枚是 4

公平六面骰连掷两次。求：在第一枚已经是 4 的条件下，两枚点数之和大于 8 的概率。

两次掷骰的样本空间可用格子图表示：每个点 $(x,y)$ 对应第一枚为 $x$ 、第二枚为 $y$ ，一共 $36$ 个等可能结果。红点是点数之和大于 $8$ 的结果。

两次掷骰的格子图，标出点数之和大于 8 的结果。

记 $A$ 为“点数之和大于 $8$ ”， $B$ 为“第一枚是 $4$ ”。条件 $B$ 把注意力限制在格子图的第四列。 $A\cap B$ 里只剩 $(4,5)$ 和 $(4,6)$ 。

第一枚为 4 的那一列。

P(A\cap B)=\frac{2}{36}=\frac{1}{18}, \qquad P(B)=\frac{6}{36}=\frac{1}{6}.

因此

P(A\mid B) = \frac{P(A\cap B)}{P(B)} = \frac{1/18}{1/6} = \frac{1}{3}.

在子空间 $B$ 里直接数，也是 $2/6=1/3$ 。两种算法等价：一种用原来的测度，一种直接在压缩后的样本空间上数。

注等可能只是特例

公平骰子每个面概率相同。现实里多数事件并不等可能。要处理有偏的情形，需要先把定义改写成乘法公式。

推论乘法公式

两边同乘 $P(F)$ ，得到

P(EF)=P(E\mid F)P(F).

例有偏四面骰掷两次

一枚有偏的四面骰（点数 $1$ 到 $4$ ）连掷两次，各面概率为

$P(1)=0.1$
$P(2)=0.2$
$P(3)=0.3$
$P(4)=0.4$

求：

已知第一枚是 $2$ ，点数之和为 $4$ 的条件概率。
已知点数之和为 $4$ ，第一枚是 $2$ 的条件概率。

解有偏四面骰

记 $A$ 为“两点数之和为 $4$ ”， $B$ 为“第一枚是 $2$ ”。用树图标出每条分支的概率会更清楚。

有偏四面骰掷两次的树图。

1. $P(A\mid B)$ 。

条件 $B$ 把第一枚钉在 $2$ 。要让和为 $4$ ，第二枚必须也是 $2$ 。因此

P(A\mid B)=P(\text{第二枚是 }2)=0.2.

用定义验算也一样：

P(A\mid B) = \frac{0.2\times 0.2}{0.2} = 0.2.

这里条件并不改变第二枚仍是 $2$ 的机会，因为两次投掷彼此独立。

2. $P(B\mid A)$ 。

和为 $4$ 的组合有 $(1,3)$ 、 $(3,1)$ 、 $(2,2)$ 。于是

P(A) = P(1,3)+P(3,1)+P(2,2) = 0.1\cdot 0.3+0.3\cdot 0.1+0.2\cdot 0.2 = 0.10.

树图每条边上的权重都是条件概率。各分支互不相交，所以用可加性把它们加起来。于是

P(B\mid A) = \frac{P(B\cap A)}{P(A)} = \frac{P(2,2)}{P(A)} = \frac{0.04}{0.10} = 0.4.

概率不再等可能，做法却没有变：先把样本空间限制到已知事件上，再在这块子空间里定位目标。

格子图适合结果等可能、阶段清楚的实验，例如掷硬币、掷骰子。树图更适合各分支概率不同、过程本身有层次的情形，贝叶斯更新尤其常用。问题规模一大，图就会画不下去，最终还是要靠事件之间的关系来算。

例抛硬币选课

Celine 在法语课和化学课之间犹豫。她估计法语课拿 A 的概率是 $1/2$ ，化学课拿 A 的概率是 $2/3$ 。她决定用一枚公平硬币来选课。问：她选化学课并且拿 A 的概率是多少？

解抛硬币选课

记 $C$ 为选化学课， $A$ 为不论哪门课都拿到 A。硬币公平，所以 $P(C)=1/2$ 。选了化学课后拿 A 的概率是 $P(A\mid C)=2/3$ 。于是

P(CA)=P(C)P(A\mid C)=\frac12\cdot\frac23=\frac13.

注交事件不是条件概率

有人会把“化学课拿 A”听成条件概率。硬币结果并不会改变化学课拿 A 的机会，这里求的是交事件，不是“给定硬币朝向之后的条件概率”。符号语言比口语精确，口语却更容易带进这种混淆。独立性一节会把这件事说透。

例罐中取球

罐中有 $8$ 个红球、 $4$ 个白球，不放回地连取两个。

(a) 每次抽取时罐中各球等可能，两个都是红球的概率是多少？

(b) 现在设红球每个重量为 $r$ ，白球每个重量为 $w$ ，下一颗被抽到的概率等于它的重量除以当时罐中所有球的总重量。两个都是红球的概率又是多少？

解罐中取球

(a) 记 $R_1$ 、 $R_2$ 分别为第一次、第二次抽到红球。第一次抽到红球后，罐里剩 $7$ 红 $4$ 白，所以 $P(R_2\mid R_1)=7/11$ 。又 $P(R_1)=8/12=2/3$ ，于是

P(R_1 R_2)=P(R_1)P(R_2\mid R_1)=\frac{2}{3}\cdot\frac{7}{11}=\frac{14}{33}.

(b) 仍用乘法公式。给红球编号，记 $B_i$ 为第一次抽到第 $i$ 个红球。则

P(R_1) = P\Bigl(\bigcup_{i=1}^8 B_i\Bigr) = \sum_{i=1}^8 P(B_i) = \frac{8r}{8r+4w}.

第一次已经抽走一个红球后，罐里剩 $7$ 红 $4$ 白，同理

P(R_2\mid R_1)=\frac{7r}{7r+4w}.

因此

P(R_1 R_2) = \frac{8r}{8r+4w}\cdot\frac{7r}{7r+4w} = \frac{8r\cdot 7r}{(8r+4w)(7r+4w)}.

把乘法公式连用若干次，就得到一般的链式法则。

定理概率的乘法法则

设 $E_1,E_2,\ldots,E_n$ 为事件。它们依次全部发生的概率为

P(E_1 E_2 \cdots E_n) = P(E_1)\, P(E_2\mid E_1)\, P(E_3\mid E_1 E_2) \cdots P(E_n\mid E_1 E_2 \cdots E_{n-1}).

证明

对事件个数 $n$ 作归纳。

当 $n=2$ 时，乘法法则就是条件概率的定义：

P(E_1 E_2)=P(E_1)P(E_2\mid E_1).

假设对 $n-1$ 个事件成立：

P(E_1\cdots E_{n-1}) = P(E_1)P(E_2\mid E_1)\cdots P(E_{n-1}\mid E_1\cdots E_{n-2}).

再由条件概率的定义，

P(E_1\cdots E_n) = P(E_1\cdots E_{n-1})\, P(E_n\mid E_1\cdots E_{n-1}).

代入归纳假设即得 $n$ 个事件的公式。

注链式约分

也可以像微分里的链式法则那样直接约分：

P(E_1) \cdot \frac{P(E_1 E_2)}{P(E_1)} \cdot \frac{P(E_1 E_2 E_3)}{P(E_1 E_2)} \cdots \frac{P(E_1\cdots E_n)}{P(E_1\cdots E_{n-1})} = P(E_1\cdots E_n).

例四堆牌各一张 A

一副 $52$ 张扑克随机分成四堆，每堆 $13$ 张。求每堆恰好一张 A 的概率。

解四堆牌各一张 A

定义事件：

$E_1$ ：黑桃 A 落在某一堆（这其实就是整个样本空间）
$E_2$ ：黑桃 A 与红心 A 不在同一堆
$E_3$ ：黑桃、红心、方块三张 A 分属三堆
$E_4$ ：四张 A 分属四堆

所求即 $P(E_1 E_2 E_3 E_4)$ 。由乘法法则，

P(E_1 E_2 E_3 E_4) = P(E_1)\, P(E_2\mid E_1)\, P(E_3\mid E_1 E_2)\, P(E_4\mid E_1 E_2 E_3).

$P(E_1)=1$ 。含黑桃 A 的那一堆还要再收 $12$ 张，这 $12$ 张等可能地来自剩下 $51$ 张，红心 A 落在其中的概率是 $12/51$ ，所以

P(E_2\mid E_1)=1-\frac{12}{51}=\frac{39}{51}.

已知两张 A 已分属两堆后，这两堆还剩 $24$ 个空位，等可能地来自剩下 $50$ 张。方块 A 落在这 $24$ 张里的概率是 $24/50$ ，所以

P(E_3\mid E_1 E_2)=1-\frac{24}{50}=\frac{26}{50}.

同理

P(E_4\mid E_1 E_2 E_3)=1-\frac{36}{49}=\frac{13}{49}.

于是

P(E_1 E_2 E_3 E_4) = \frac{39}{51}\cdot\frac{26}{50}\cdot\frac{13}{49} \approx 0.105.

大约有 $10.5\%$ 的机会每堆恰好一张 A。

习题

锁定源文件在这一节只有标题，没有正文。

贝叶斯定理

贝叶斯定理与贝叶斯式思考

对任意事件 $E$ 、 $F$ ，总有

E = EF \cup EF^c.

$EF$ 与 $EF^c$ 互不相交，由可加性

\begin{aligned} P(E) &= P(EF)+P(EF^c) \\ &= P(E\mid F)P(F)+P(E\mid F^c)P(F^c) \\ &= P(E\mid F)P(F)+P(E\mid F^c)\bigl(1-P(F)\bigr). \end{aligned}

这就是：用 $F$ 发生与不发生这两种情形，给 $E$ 做一次加权平均。有时直接求 $P(E)$ 很难，先对另一个事件及其补事件条件化反而容易。

例事故倾向与出险

保险公司把人分成两类：容易出事故的，和不容易出事故的。一年内出事故的概率分别是 $0.4$ 和 $0.2$ 。假设人口中有 $30\%$ 属于前一类。新投保人在买保单后一年内出事故的概率是多少？

解事故倾向与出险

记 $A_1$ 为一年内出事故， $A$ 为投保人属于易出事故的一类。先对是否易出事故条件化：

P(A_1) = P(A_1\mid A)P(A)+P(A_1\mid A^c)P(A^c) = (0.4)(0.3)+(0.2)(0.7) = 0.26.

上一例用的是 $A$ 或 $A^c$ 之下 $A_1$ 的概率。反过来也可以求“已经出事故之后，属于易出事故一类”的概率。

例出险后再判类型

新投保人在买保单后一年内出了事故。他属于易出事故一类的概率是多少？

解出险后再判类型

P(A\mid A_1) = \frac{P(A\cap A_1)}{P(A_1)} = \frac{P(A_1\mid A)P(A)}{P(A_1)} = \frac{(0.3)(0.4)}{0.26} = \frac{6}{13}.

下图用 $1{,}000$ 名投保人的假想模型展示这一更新，其中 $E$ 就是上文的第一年出险事件 $A_1$ 。筛选后留下 $120+140=260$ 人，易出事故组的占比因此变成 $120/260=6/13$ 。

贝叶斯条件筛选：300 名易出事故者与 700 名其他投保人，出险后分别留下 120 人与 140 人，后验概率为 6/13。

已知 $P(E\mid F)$ 和 $P(E\mid F^c)$ ，就可以反求 $P(F\mid E)$ 。这就是贝叶斯定理。它不只是代数变形，也刻画了一种更新信念的方式。

定理贝叶斯定理

设 $P(B)>0$ 。则

P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)},

其中：

$P(A\mid B)$ 是后验：已经观察到 $B$ 之后， $A$ 的概率
$P(B\mid A)$ 是似然：假定 $A$ 发生时，观察到 $B$ 的概率
$P(A)$ 是先验： $A$ 原先的概率
$P(B)$ 是边缘概率。若 $\{A_i\}$ 构成完备组，则

P(B)=\sum_i P(B\mid A_i)P(A_i).

证明

还需 $P(A)>0$ ，使公式里两个条件概率都有定义。由定义， $P(A\mid B)P(B)=P(A\cap B)=P(B\mid A)P(A)$ ；再除以 $P(B)>0$ 即得。若分母用全概率公式展开， $A_i$ 必须组成有限或可数个互不相交事件的划分，零概率块应在写条件概率前略去。 $P(A)=0$ 时，由单调性直接得到后验为零；但在这里的初等事件定义下， $P(B\mid A)$ 没有定义。

公式很短，却把“先有信念，再拿新证据去修正”这件事写死了。

先验是已有的看法。
似然是：在某个假定之下，眼前这件事有多像会发生。
边缘概率负责把所有可能的解释归一化。
后验是修正之后的新概率。

地平说变成圆球说，就是先验被一串观测一点点压下去的过程： $P(\text{地平})$ 趋于 $0$ ， $P(\text{圆球})$ 趋于 $1$ ，给定全部新观测之后，地平说的后验几乎变成 $0$ 。

上面例子里 $A$ 只有“发生或不发生”两种。一般情形要把样本空间剖成任意多个块。先写出全概率公式。

定理全概率公式

设 $B_1,B_2,\ldots,B_n$ 是样本空间 $S$ 的有限或可数剖分：当 $i\neq j$ 时 $B_i\cap B_j=\emptyset$ ，且 $\bigcup_{i=1}^n B_i=S$ ，并且每个 $P(B_i)>0$ 。则对 $S$ 中任意事件 $A$ ，

P(A)=\sum_{i=1}^n P(A\mid B_i)P(B_i).

证明

$B_1,\ldots,B_n$ 互不相交且并起来是整个 $S$ ，所以

A = A\cap S = A\cap\Bigl(\bigcup_{i=1}^n B_i\Bigr) = \bigcup_{i=1}^n (A\cap B_i).

诸 $A\cap B_i$ 仍互不相交，于是

P(A) = \sum_{i=1}^n P(A\cap B_i) = \sum_{i=1}^n P(A\mid B_i)P(B_i).

注从二元情形归纳

也可以用本节开头 $n=2$ 的分解作归纳基础。

证明

贝叶斯定理的证明。 设 $\{B_i\}$ 是样本空间的剖分， $A$ 为任意事件。由全概率公式

P(A)=\sum_{i=1}^n P(A\cap B_i)=\sum_{i=1}^n P(A\mid B_i)P(B_i).

对某个固定的 $j$ ，

P(B_j\mid A) = \frac{P(A\cap B_j)}{P(A)} = \frac{P(A\mid B_j)P(B_j)}{\sum_{i=1}^n P(A\mid B_i)P(B_i)}.

若剖分只有 $B$ 与 $B^c$ 两块，则简化为

P(B\mid A) = \frac{P(A\mid B)P(B)}{P(A\mid B)P(B)+P(A\mid B^c)P(B^c)}.

例嫌疑与特征

调查进行到某一步，探长有 $60\%$ 把握认定某嫌疑人有罪。新证据表明罪犯具有某项特征（例如左撇子、秃顶、棕发），人群中有 $20\%$ 具有该特征。若发现嫌疑人恰好具有该特征，探长现在应该有多大把握认定他有罪？

解嫌疑与特征

记 $G$ 为嫌疑人有罪， $C$ 为他具有该项特征。由贝叶斯定理，

P(G\mid C)=\frac{P(C\mid G)P(G)}{P(C)}.

分母用全概率公式：

P(C)=P(C\mid G)P(G)+P(C\mid G^c)P(G^c).

代入 $P(G)=0.60$ 、 $P(G^c)=0.40$ ，并取 $P(C\mid G)=1$ （有罪则必有该特征）、 $P(C\mid G^c)=0.20$ ，得到

P(C)=(1.0)(0.60)+(0.20)(0.40)=0.68,

从而

P(G\mid C)=\frac{(1.0)(0.60)}{0.68}\approx 0.882.

观察到该特征之后，把握大约升到 $88.2\%$ 。

例红黑卡片

三张卡片外形相同：第一张两面都红，第二张两面都黑，第三张一面红一面黑。混在帽子里随机抽出一张扣在地上。若朝上的一面是红色，另一面也是红色的概率是多少？

解红黑卡片

记 $RR$ 、 $BB$ 、 $RB$ 分别为抽到全红、全黑、红黑卡，记 $R$ 为朝上一面为红。所求是朝下一面也红的概率。先算

\begin{aligned} P(R) &= P(R\mid RR)P(RR)+P(R\mid RB)P(RB)+P(R\mid BB)P(BB) \\ &= 1\cdot\frac13+\frac12\cdot\frac13+0\cdot\frac13 = \frac12. \end{aligned}

全红卡朝上为红的概率是 $1$ 而不是 $1/2$ ，因为它两面都红。朝下也红，当且仅当抽到的是全红卡，且朝上已经是红，于是

P(\text{朝下为红}\cap R)=P(RR\cap R)=P(RR)=\frac13,

从而

P(\text{朝下为红}\mid R) = \frac{1/3}{1/2} = \frac23.

另一种数法更干净：把每张卡看成两面，六个等可能结果 $R_1,R_2,B_1,B_2,R_3,B_3$ 。朝上为红的只有 $R_1,R_2,R_3$ ，其中朝下仍红的是 $R_1$ 和 $R_2$ ，所以概率是 $2/3$ 。

有人会猜 $1/2$ ：看见红面之后，似乎只剩“全红卡”和“红黑卡”两种可能。错在把这两种可能当成等可能。全红卡贡献了两张红面，红黑卡只贡献一张。

应用条件概率前，需要明确观测是怎样抽取的。下一题的答案取决于母亲如何选择同行的孩子。

例带着一个孩子散步

一对夫妇有两个孩子。母亲带着其中一个孩子散步，若这个孩子是女孩，两个孩子都是女孩的概率是多少？

解带着一个孩子散步

假设两个孩子的性别独立且男女等可能，母亲也以相同概率选择任一孩子同行，选择与性别无关。以下结论基于这一抽样模型。记

$G_1$ ：年长的孩子是女孩
$G_2$ ：年幼的孩子是女孩
$G$ ：被看到的那个孩子是女孩

再对称地定义 $B_1$ 、 $B_2$ 、 $B$ 。所求为 $P(G_1 G_2\mid G)$ 。

P(G_1 G_2\mid G) = \frac{P(G_1 G_2\cap G)}{P(G)}.

由全概率公式，四种性别组合等可能，各占 $1/4$ ，且

P(G\mid G_1 G_2)=1, \quad P(G\mid G_1 B_2)=P(G\mid B_1 G_2)=\tfrac12, \quad P(G\mid B_1 B_2)=0,

于是

P(G) = 1\cdot\frac14+\frac12\cdot\frac14+\frac12\cdot\frac14+0\cdot\frac14 = \frac12.

又 $P(G_1 G_2\cap G)=P(G_1 G_2)=1/4$ ，所以

P(G_1 G_2\mid G)=\frac{1/4}{1/2}=\frac12.

看见的是女孩时，两个都是女孩的概率是 $1/2$ 。

习题

贝叶斯定理的典型计算已经包含在保险、嫌疑特征、红黑卡片和两个孩子这几例中。独立性一节会再练“信息到底有没有改变概率”。

事件的独立性

独立性的定义

前面把 $E$ 在 $F$ 下的条件概率写成

P(E\mid F)=\frac{P(EF)}{P(F)}.

若干例子里会出现 $P(E\mid F)=P(E)$ ，这等价于 $P(EF)=P(E)P(F)$ 。这时称 $E$ 与 $F$ 独立。

定义两个事件独立

事件 $E$ 与 $F$ 独立，当且仅当

P(EF)=P(E)P(F).

当 $P(F)>0$ 时，这等价于 $P(E\mid F)=P(E)$ 。

例点数之和为 6 与第一枚是 4

掷两枚公平骰子。记

$E_1$ ：点数之和为 $6$
$F$ ：第一枚是 $4$

二者独立吗？

解点数之和为 6 与第一枚是 4

$E_1$ 的有利结果是 $(1,5),(2,4),(3,3),(4,2),(5,1)$ ，共 $5$ 种，所以 $P(E_1)=5/36$ 。第一枚是 $4$ 的概率 $P(F)=1/6$ 。同时发生只剩 $(4,2)$ ，所以 $P(E_1\cap F)=1/36$ 。但

P(E_1)P(F)=\frac{5}{36}\cdot\frac{1}{6}=\frac{5}{216}\neq\frac{1}{36}.

因此 $E_1$ 与 $F$ 不独立。

独立还会传到补事件上。

命题独立蕴含与补事件独立

若 $E$ 与 $F$ 独立，则 $E$ 与 $F^c$ 也独立。

证明

$E=EF\cup EF^c$ ，且这两块不相交，所以

P(E)=P(EF)+P(EF^c).

由独立性 $P(EF)=P(E)P(F)$ ，于是

P(EF^c)=P(E)-P(E)P(F)=P(E)(1-P(F))=P(E)P(F^c).

独立和互斥不是一回事。若 $A$ 与 $B$ 互斥且都有正概率，则 $P(A\cap B)=0$ ，而 $P(A)P(B)>0$ ，二者不可能独立。

多个事件的独立性

两个事件独立，三个事件未必整体独立。

例和为 7 对单枚独立、对同时发生不独立

掷两枚公平骰子。记 $E$ 为点数之和为 $7$ ， $F$ 为第一枚是 $4$ ， $G$ 为第二枚是 $3$ 。 $E$ 对 $F$ 独立，对 $G$ 也独立，但对交事件 $FG$ 并不独立，因为 $P(E\mid FG)=1$ 。

解和为 7 对单枚独立、对同时发生不独立

$P(E)=6/36=1/6$ ， $P(F)=P(G)=1/6$ ， $P(E\cap F)=P(4,3)=1/36$ ，于是

P(E\cap F)=P(E)P(F)=\frac{1}{36}.

$E$ 与 $G$ 同理。但 $FG$ 就是结果 $(4,3)$ ，此时和一定是 $7$ ，所以 $P(E\cap FG)=P(FG)=1/36$ ，而

P(E)P(FG)=\frac16\cdot\frac{1}{36}=\frac{1}{216}\neq\frac{1}{36}.

对 $F$ 、 $G$ 分别独立，并不保证对它们拼成的事件也独立。

定义三个事件相互独立

三个事件 $E$ 、 $F$ 、 $G$ 相互独立，是指下列各式同时成立：

\begin{aligned} P(EFG)&=P(E)P(F)P(G), \\ P(EF)&=P(E)P(F), \\ P(EG)&=P(E)P(G), \\ P(FG)&=P(F)P(G). \end{aligned}

若三者相互独立，则 $E$ 与由 $F$ 、 $G$ 做成的任何事件都独立。例如对并：

\begin{aligned} P\bigl(E(F\cup G)\bigr) &= P(EF\cup EG) \\ &= P(EF)+P(EG)-P(EFG) \\ &= P(E)P(F)+P(E)P(G)-P(E)P(FG) \\ &= P(E)\,P(F\cup G). \end{aligned}

这个定义可以直接推广到任意多个、甚至无穷多个事件。

例独立试验中的成功次数

一串独立试验，每次成功概率为 $p$ ，失败概率为 $1-p$ 。求：

前 $n$ 次里至少成功一次的概率
前 $n$ 次里恰好成功 $k$ 次的概率
所有试验都成功的概率

解独立试验中的成功次数

(a) 先算补事件：前 $n$ 次全失败。记 $E_i$ 为第 $i$ 次失败，由独立性

P(E_1\cdots E_n)=(1-p)^n,

所以至少成功一次的概率是 $1-(1-p)^n$ 。

(b) 任意一个“恰好 $k$ 次成功、 $n-k$ 次失败”的具体序列，概率都是 $p^k(1-p)^{n-k}$ ，这样的序列有 $\binom{n}{k}$ 个，于是

P(\text{恰好 }k\text{ 次成功})=\binom{n}{k}p^k(1-p)^{n-k}.

(c) 本小问改记 $E_i$ 为第 $i$ 次成功。前 $n$ 次全成功的概率是 $p^n$ 。无穷多次全成功是这些事件的交。由概率的连续性，

P\Bigl(\bigcap_{i=1}^\infty E_i\Bigr) = \lim_{n\to\infty}p^n,

当 $p<1$ 时极限为 $0$ ，当 $p=1$ 时为 $1$ 。

例5 先于 7 出现

反复独立地掷一对公平骰子。点数之和为 $5$ 先于之和为 $7$ 出现的概率是多少？

解5 先于 7 出现

记 $E_n$ 为：前 $n-1$ 次既没有 $5$ 也没有 $7$ ，第 $n$ 次出现 $5$ 。所求为

P\Bigl(\bigcup_{n=1}^\infty E_n\Bigr)=\sum_{n=1}^\infty P(E_n).

一次试验得到 $5$ 的概率是 $4/36$ ，得到 $7$ 的概率是 $6/36$ 。由独立性，

P(E_n)=\Bigl(1-\frac{10}{36}\Bigr)^{n-1}\cdot\frac{4}{36},

于是

\sum_{n=1}^\infty P(E_n) = \frac19\sum_{n=1}^\infty\Bigl(\frac{13}{18}\Bigr)^{n-1} = \frac19\cdot\frac{1}{1-13/18} = \frac25.

也可以对第一次的结果条件化。记 $F$ 为第一次得 $5$ ， $G$ 为第一次得 $7$ ， $H$ 为第一次两者都不是。则 $P(E\mid F)=1$ ， $P(E\mid G)=0$ ， $P(E\mid H)=P(E)$ ，从而

P(E)=\frac19+\frac{13}{18}P(E),

解得 $P(E)=2/5$ 。

注互斥事件谁先出现

答案符合直觉： $5$ 的单次概率是 $4/36$ ， $7$ 是 $6/36$ ，所以 $5$ 先出现的概率应是 $4/10$ 。一般地，若单次试验中 $E$ 、 $F$ 互斥，独立重复该试验时， $E$ 先于 $F$ 出现的概率为

\frac{P(E)}{P(E)+P(F)}.

习题

练习和为 7 与第一枚点数

公平骰子连掷两次。点数之和为 $7$ 是否与第一枚的点数独立？证明或举反例，并解释原因。

证明

记 $A$ 为点数之和为 $7$ ， $B_i$ 为第一枚是 $i$ 。要独立，需对每个 $i$ 都有 $P(A\cap B_i)=P(A)P(B_i)$ 。

$A$ 的有利结果是 $(1,6),(2,5),(3,4),(4,3),(5,2),(6,1)$ ，共 $6$ 种，所以 $P(A)=6/36=1/6$ 。对每个 $i$ ， $P(B_i)=1/6$ 。 $A\cap B_i$ 只对应第一枚为 $i$ 、第二枚为 $7-i$ 这一种结果，所以 $P(A\cap B_i)=1/36$ 。于是

P(A)P(B_i)=\frac16\cdot\frac16=\frac{1}{36}=P(A\cap B_i).

因此 $A$ 与每个 $B_i$ 都独立：知道第一枚是几，并不能改变“和为 $7$ ”的概率，因为第二枚总有恰好一种补法。

练习相互独立的一般定义

证明相互独立的一般定义，并说明它对布尔组合仍然成立。

定理相互独立

事件族 $\{E_1,\ldots,E_n\}$ 相互独立，是指对任意子集 $\{E_{i_1},\ldots,E_{i_k}\}$ ，

P\Bigl(\bigcap_{j=1}^k E_{i_j}\Bigr) = \prod_{j=1}^k P(E_{i_j}).

这对每个 $1\le k\le n$ 以及每一组下标都要成立。

证明

设该族相互独立。任取 $i$ ，以及由其余事件经布尔运算做成的事件 $A$ 。 $A$ 可以写成若干形如 $\bigcap(E_j\text{ 或 }E_j^c)$ 的交之并。由容斥与相互独立，每个这样的交的概率都裂成各因子概率（或 $1-P(E_j)$ ）的乘积。对 $E_i\cap A$ 做同样分解，每个含 $E_i$ 的交都会多出一个因子 $P(E_i)$ ，于是 $P(E_i\cap A)=P(E_i)P(A)$ 。

进一步的条件概率

条件概率也满足概率公理

条件概率本身仍是概率，原先对 $P$ 成立的结论，对 $P(\,\cdot\mid F)$ 也应当成立。

命题条件概率的公理

设 $E$ 、 $F$ 为事件， $E_i$ （ $i=1,2,\ldots$ ）两两不交。则

$0\le P(E\mid F)\le 1$
$P(S\mid F)=1$ ，其中 $S$ 为样本空间
若诸 $E_i$ 两两不交，则

P\Bigl(\bigcup_{i=1}^\infty E_i\Bigm| F\Bigr) = \sum_{i=1}^\infty P(E_i\mid F).

证明

$E\cap F\subseteq F$ ，所以 $P(E\cap F)\le P(F)$ ，从而 $0\le P(E\mid F)\le 1$ 。又 $S\cap F=F$ ，所以 $P(S\mid F)=1$ 。第三款来自可数可加性：

P\Bigl(\bigcup_{i=1}^\infty E_i\Bigm| F\Bigr) = \frac{P\bigl(\bigcup_{i=1}^\infty(E_i\cap F)\bigr)}{P(F)} = \sum_{i=1}^\infty P(E_i\mid F).

命题条件化后仍是概率测度

定义 $Q(E)=P(E\mid F)$ ，则 $Q$ 是 $S$ 上的概率函数，先前对概率证明过的命题全部适用。例如

Q(E_1\cup E_2)=Q(E_1)+Q(E_2)-Q(E_1\cap E_2).

证明

固定 $P(F)>0$ 。前面已证明非负性、归一化与可数可加性，这正是 $Q$ 的全部概率公理。对所写的容斥式，先对 $E_1\cap F$ 与 $E_2\cap F$ 使用普通容斥，再除以 $P(F)$ ；两者的交为 $E_1\cap E_2\cap F$ ，于是得到条件化后的公式。

注先做本节习题 1

这等于说：凡是已经对普通概率证明过的结论，都可以原样搬到条件概率上。下面的例子之前，建议先看本节习题 1。

例第一年出险后再估第二年

保险公司仍把投保人分成易出事故与不易出事故两类，一年内出事故的概率仍是 $0.4$ 与 $0.2$ ，新投保人中易出事故的比例是 $3/10$ 。已知某人第一年出了事故，第二年再出事故的概率是多少？

解第一年出险后再估第二年

记 $A$ 为易出事故， $A_1$ 、 $A_2$ 分别为第一年、第二年出事故。假设投保人的类型不变，且给定类型后各年是否出事故条件独立；仅凭各年的边缘概率，还不足以确定答案。所求为 $P(A_2\mid A_1)$ 。对是否易出事故再条件化：

P(A_2\mid A_1) = P(A_2\mid A\cap A_1)P(A\mid A_1) + P(A_2\mid A^c\cap A_1)P(A^c\mid A_1).

先用贝叶斯定理算 $P(A\mid A_1)$ 。已知 $P(A_1\mid A)=0.4$ ， $P(A)=0.3$ ，且先前已得 $P(A_1)=0.26$ ，于是

P(A\mid A_1)=\frac{(0.4)(0.3)}{0.26}=\frac{6}{13}, \qquad P(A^c\mid A_1)=\frac{7}{13}.

假定各年出事故在给定类型后条件独立，则 $P(A_2\mid A\cap A_1)=0.4$ ， $P(A_2\mid A^c\cap A_1)=0.2$ ，从而

P(A_2\mid A_1) =\frac{2}{5}\frac{6}{13}+\frac{1}{5}\frac{7}{13} =\frac{19}{65} \approx 0.2923.

例相继观测下的后验更新

设 $H_1,\ldots,H_n$ 是互斥且穷尽的假设。以下假定已观测事件的概率为正；后验为零的假设可从条件表达式中略去。

先观测到 $E_1$ ，由贝叶斯定理得到

P(H_i\mid E_1)=\frac{P(E_1\mid H_i)P(H_i)}{P(E_1)}.

再观测到 $E_2$ 时，一般的更新公式必须在新似然中保留 $E_1$ ：

P(H_i\mid E_1,E_2) =\frac{P(E_2\mid H_i,E_1)P(H_i\mid E_1)}{P(E_2\mid E_1)},

其中

P(E_2\mid E_1)=\sum_j P(E_2\mid H_j,E_1)P(H_j\mid E_1).

如果给定每个假设后 $E_1$ 与 $E_2$ 条件独立，新似然才可简化为 $P(E_2\mid H_i)$ ，从而

P(H_i\mid E_1,E_2) =\frac{P(E_2\mid H_i)P(E_1\mid H_i)P(H_i)}{P(E_2\mid E_1)P(E_1)}.

分母是联合证据 $P(E_1\cap E_2)$ ，由两个概率相乘得到，而不是相除。例如，从若干枚已知偏率的硬币中选定一枚，但不知道选中了哪枚，然后反复抛掷这同一枚硬币。给定硬币身份后，各次抛掷独立，因此每次更新只需保留当前后验与新观测的似然，不必单独存储此前所有结果。

多重条件概率

多个条件可以先交成一个事件，再套用原来的定义。

定义多重条件概率

事件 $A$ 在条件 $B_1,\ldots,B_n$ 下的概率定义为

P(A\mid B_1,\ldots,B_n) = \frac{P(A\cap B_1\cap\cdots\cap B_n)}{P(B_1\cap\cdots\cap B_n)},

前提是分母为正。

注多个条件合成一个事件

令 $B=B_1\cap\cdots\cap B_n$ 。只要 $P(B)>0$ ，直接应用条件概率的定义即可：

P(A\mid B_1,\ldots,B_n) =P(A\mid B) =\frac{P(A\cap B)}{P(B)}.

这里无需归纳证明，也不要求各个 $B_i$ 互相独立。

例系统故障的多重条件

某计算机系统的故障可能同时受到软件故障 $S$ 、硬件故障 $H$ 、网络故障 $N$ 、电涌 $P$ 、误操作 $U$ 影响。已知

$P(\text{故障}\mid S\cap H\cap N\cap P\cap U)=0.90$
$P(S\cap H\cap N\cap P\cap U)=0.01$
$P(\text{故障}\mid S\cap H\cap N)=0.75$
$P(S\cap H\cap N)=0.05$
$P(P\cap U\mid S\cap H\cap N)=0.20$

把这些条件合在一起，系统故障的综合条件概率是多少？

解系统故障的多重条件

先核验联合概率：

P(S\cap H\cap N\cap P\cap U) = P(P\cap U\mid S\cap H\cap N)\,P(S\cap H\cap N) = 0.20\times 0.05 = 0.01.

再由定义，

P(\text{故障}\cap S\cap H\cap N\cap P\cap U) = 0.90\times 0.01 = 0.009,

从而

P(\text{故障}\mid S,H,N,P,U) = \frac{0.009}{0.01} = 0.90.

这与直接给出的条件概率一致：多重条件并没有引入新的机制，只是把已经交在一起的事件当成单个条件来用。

习题

练习条件概率的容斥与全概率

证明把 $Q(E)=P(E\mid F)$ 看成概率测度后，

Q(E_1\cup E_2)=Q(E_1)+Q(E_2)-Q(E_1 E_2)

成立，并且由此得到

P(E_1\mid F) = P(E_1\mid E_2 F)P(E_2\mid F) + P(E_1\mid E_2^c F)P(E_2^c\mid F).

证明

$Q(S)=P(S\mid F)=1$ ； $Q(E)\ge 0$ ；对两两不交的序列，

Q\Bigl(\bigcup_{i=1}^\infty E_i\Bigr) = \sum_{i=1}^\infty Q(E_i).

因此 $Q$ 满足概率公理，两个事件的容斥公式对 $Q$ 成立。

再看第二式。先假设 $Q(E_2)>0$ 且 $Q(E_2^c)>0$ ，把 $Q$ 的全概率公式写出来：

Q(E_1)=Q(E_1\mid E_2)Q(E_2)+Q(E_1\mid E_2^c)Q(E_2^c).

而

Q(E_1\mid E_2) = \frac{Q(E_1 E_2)}{Q(E_2)} = \frac{P(E_1 E_2\mid F)}{P(E_2\mid F)} = P(E_1\mid E_2 F),

同理 $Q(E_1\mid E_2^c)=P(E_1\mid E_2^c F)$ 。代回即得。若某一分支在 $Q$ 下概率为零，省略该分支即可，无需对零概率事件定义条件概率。