条件概率与独立性 | 杨星宇

条件概率描述：当我们获得关于另一个事件的信息后，一个事件的概率如何变化。

条件概率

定义条件概率

当 $P(B)>0$ 时，事件 $A$ 在条件 $B$ 下的概率定义为

P(A\mid B)=\frac{P(A\cap B)}{P(B)}

因此有乘法公式

P(A\cap B)=P(A\mid B)P(B)=P(B\mid A)P(A)

条件化可以理解为把注意力限制在 $B$ 内，再重新归一化概率。

定理全概率公式

若 $B_1,\ldots,B_n$ 两两不交，且它们的并为样本空间 $\Omega$ ，则

P(A)=\sum_{i=1}^{n}P(A\mid B_i)P(B_i)

这是因为

A=\bigcup_{i=1}^{n}(A\cap B_i)

再结合乘法公式即可得到。

定理贝叶斯定理

当分母为正时，

P(B\mid A)=\frac{P(A\mid B)P(B)}{P(A)}

如果 $B_1,\ldots,B_n$ 构成一个划分，则

P(B_j\mid A)= \frac{P(A\mid B_j)P(B_j)} {\sum_{i=1}^{n}P(A\mid B_i)P(B_i)}

分子把先验概率 $P(B_j)$ 和似然 $P(A\mid B_j)$ 结合起来，分母则负责对所有可能解释进行归一化。

定义事件独立

事件 $A$ 与 $B$ 独立，当且仅当

P(A\cap B)=P(A)P(B)

当 $P(B)>0$ 时，这等价于 $P(A\mid B)=P(A)$ 。

独立意味着得知一个事件是否发生，不会改变另一个事件的概率。独立和互斥不是一回事。如果 $A$ 与 $B$ 互斥且都有正概率，那么它们不可能独立，因为 $P(A\cap B)=0$ ，而 $P(A)P(B)>0$ 。

重复使用乘法公式，可以得到链式法则：

P\left(\bigcap_{i=1}^{n}A_i\right) =P(A_1)P(A_2\mid A_1)P(A_3\mid A_1\cap A_2)\cdots P\left(A_n\mid\bigcap_{i=1}^{n-1}A_i\right)

它适合描述连续实验，也适合把联合分布拆成一系列局部条件分布。

注

三个或更多事件两两独立，并不一定意味着它们整体相互独立。相互独立要求每一个非空子集都满足相应的乘积公式。