随机变量是一个变量，其可能值是随机现象的数值结果。随机变量主要有两种类型：离散型和连续型。

1. 离散随机变量：这些是可以取可数个值的随机变量。例如，10次抛硬币中的正面次数就是一个离散随机变量。

2. 连续随机变量：这些是在给定范围内可以取无限个值的随机变量。例如，计算机解决问题所需的时间就是一个连续随机变量。

形式上，随机变量是一个可测函数，将随机过程的结果映射到实数。这种映射使我们能够为不同结果分配概率，并使用现有的数学工具对其进行统计分析。

设$\Omega$为随机过程的样本空间，设$X: \Omega \to \mathbb{R}$为一个随机变量。函数$X$为$\Omega$中的每个结果分配一个实数。随机变量的概率分布描述了概率如何在随机变量的可能值上分布。

概率函数

对于离散随机变量，我们使用概率质量函数（PMF）： $p_X(x) = P(X = x)$

性质：

• 对所有$x$，$p_X(x) \geq 0$
• $\sum_{x} p_X(x) = 1$

对于连续随机变量，我们使用概率密度函数（PDF）： $f_X(x) \text{ 其中 } P(a \leq X \leq b) = \int_a^b f_X(x)dx$

性质：

• 对所有$x$，$f_X(x) \geq 0$
• $\int_{-\infty}^{\infty} f_X(x)dx = 1$

累积分布函数（CDF）

CDF对离散和连续随机变量都有定义： $F_X(x) = P(X \leq x)$

对于离散型：$F_X(x) = \sum_{t \leq x} p_X(t)$

对于连续型：$F_X(x) = \int_{-\infty}^{x} f_X(t)dt$

总之，随机变量是将随机过程的结果（样本空间）映射到实数的函数，使我们能够分析和量化随机现象的行为。

可以通过引入测度和概率空间来给出更严格的定义，您可以在此处选择性地访问：随机变量 - stackexchange。

有关期望和方差计算的更多详细信息，请参见期望和方差。

联合随机变量描述了定义在相同概率空间上的两个或多个随机变量的行为。对于两个随机变量$X$和$Y$，它们的联合分布指定了$X$取值$x$且$Y$取值$y$同时发生的概率。

联合概率函数

对于离散随机变量，我们使用联合概率质量函数： $p_{X,Y}(x,y) = P(X = x, Y = y)$

性质：

• 对所有$x,y$，$p_{X,Y}(x,y) \geq 0$
• $\sum_{x}\sum_{y} p_{X,Y}(x,y) = 1$

对于连续随机变量，我们使用联合概率密度函数： $f_{X,Y}(x,y) \text{ 其中 } P(a \leq X \leq b, c \leq Y \leq d) = \int_a^b \int_c^d f_{X,Y}(x,y) dy dx$

性质：

• 对所有$x,y$，$f_{X,Y}(x,y) \geq 0$
• $\iint_{\mathbb{R}^2} f_{X,Y}(x,y) dx dy = 1$

边缘分布

一个变量的边缘分布可以从联合分布获得：

对于离散情况：

• $p_X(x) = \sum_{y} p_{X,Y}(x,y)$
• $p_Y(y) = \sum_{x} p_{X,Y}(x,y)$

对于连续情况：

• $f_X(x) = \int_{-\infty}^{\infty} f_{X,Y}(x,y) dy$
• $f_Y(y) = \int_{-\infty}^{\infty} f_{X,Y}(x,y) dx$

独立性

随机变量$X$和$Y$独立，如果： $p_{X,Y}(x,y) = p_X(x) \cdot p_Y(y) \text{（离散）}$ $f_{X,Y}(x,y) = f_X(x) \cdot f_Y(y) \text{（连续）}$

这意味着联合分布可以分解为边缘分布的乘积。