第四章 随机变量的数字特征

§1 随机变量的数学期望 (均值)

• 离散型 r. v. 的期望:
  • 定义:

$$E(X) = \sum_{k=1}^{\infty} x_{k} p_{k}$$

(要求 $\sum_{k=1}^{\infty} \vert x_{k}\vert p_{k} < \infty$)

• 连续型 r. v. 的期望:
  • 定义:

$$E(X) = \int_{-\infty}^{\infty} x f(x) dx$$

(要求 $\int_{-\infty}^{\infty} \vert x\vert f(x) dx < \infty$)

• 函数期望:
  • 一维: $E[g(X)] = \int_{-\infty}^{\infty} g(x) f(x) dx$ (连续型)
  • 二维: $E[g(X, Y)] = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} g(x, y) f(x, y) dx dy$

期望的性质：

1. 常数的期望

如果 $C$ 是一个常数，那么它的期望就是它本身。

$$E(C) = C$$

理解： 常数没有波动，其平均值自然就是它自己。

2. 线性性质（Linearity of Expectation）

这是期望最核心、最常用的性质，分为两部分：

• 倍数关系： 随机变量乘以常数 $a$，期望也扩大 $a$ 倍。

$$E(aX) = aE(X)$$

• 和的期望： 两个随机变量之和的期望等于各自期望之和。

$$E(X + Y) = E(X) + E(Y)$$

注意： 这一条对于任意两个随机变量都成立，无论它们是否独立。

将上述结合，可以得到更通用的线性公式：

$$E(aX + bY + c) = aE(X) + bE(Y) + c$$

3. 独立随机变量的乘积

如果随机变量 $X$ 和 $Y$ 是相互独立的，那么它们乘积的期望等于各自期望的乘积：

$$E(XY) = E(X)E(Y)$$

警示： 如果 $X$ 和 $Y$ 不独立，这个等式通常不成立。

4. 函数的期望（EUE定理）

若 $Y$ 是 $X$ 的函数，即 $Y = g(X)$，我们不需要求出 $Y$ 的分布，可以直接利用 $X$ 的概率密度或分布律求期望：

• 离散型： $E[g(X)] = \sum_{i} g(x_i)P(X = x_i)$
• 连续型： $E[g(X)] = \int_{-\infty}^{+\infty} g(x)f(x)dx$

5. 单调性

如果对于所有的取值，都有 $X \le Y$，那么它们的期望也满足：

$$E(X) \le E(Y)$$

由此推论：如果 $X \ge 0$，则 $E(X) \ge 0$。

常见随机变量的期望参考表

常用分布	符号	期望 E(X)
0-1 分布	$B(1, p)$	$p$
二项分布	$B(n, p)$	$np$
泊松分布	$P(\lambda)$	$\lambda$
均匀分布	$U(a, b)$	$\frac{a+b}{2}$
正态分布	$N(\mu, \sigma^2)$	$\mu$
指数分布	$e(\lambda)$	$\frac{1}{\lambda}$

§2 方差

• 定义: $D(X) = E[(X - E(X))^{2}]$。
• 计算公式: $D(X) = E(X^{2}) - [E(X)]^{2}$
• 性质 :
  1. $D(c)=0$ 若 $D(X)=0$，则 $P\{X=C\}=1$
  2. 推导: $D(aX + b) = a^{2} D(X)$
  3. 若X,Y独立，则$D(X+Y)=D(X)+D(Y)$
• 重要 r. v. 的方差:
  1. 二项分布 $b(n, p)$: $D(X) = n p (1-p)$
  2. 指数分布 $E(\lambda)$: $D(X) = \frac{1}{\lambda^{2}}$
  3. 均匀分布：$U(a,b)$:$D(X)=\frac{(b-a)^2}{12}$
  4. 泊松分布$P(\lambda)$:$D(X)=\lambda$

切比雪夫不等式

**切比雪夫不等式（Chebyshev's Inequality）**是概率论中一个非常强大的工具，它描述了随机变量偏离其数学期望的可能性。 它的魅力在于：无论随机变量服从什么分布（只要方差存在），它都成立。 设随机变量 $X$ 具有数学期望 $E(X) = \mu$ 和方差 $D(X) = \sigma^2$。对于任意正数 $\epsilon$，有：

$$P(\vert X - E(X)\vert \ge \epsilon) \le \frac{D(X)}{\epsilon^2}$$

或者其等价形式（设 $\epsilon = k\sigma$，即 $k$ 倍标准差）：

$$P(\vert X - \mu\vert \ge k\sigma) \le \frac{1}{k^2}$$

通俗理解： 随机变量 $X$ 落在期望 $\mu$ 的 $k$ 倍标准差范围之外的概率，不会超过 $1/k^2$。

§3 协方差与相关系数

• 协方差 (定义): $Cov(X, Y) = E[(X - E(X))(Y - E(Y))]$。
• 计算公式: $Cov(X, Y) = E(XY) - E(X)E(Y)$。
• 不相关: 若 $Cov(X, Y) = 0$，则称 $X$ 与 $Y$ 不相关
  • 性质: 若 $X, Y$ 相互独立，则 $Cov(X, Y) = 0$
• 相关系数 (定义):

$$\rho_{XY} = \frac{Cov(X, Y)}{\sqrt{D(X) D(Y)}}$$

**性质:** $-1 \le \rho_{XY} \le 1$。

• n维正态分布的特性: 服从 $n$ 维正态分布的随机变量的两两不相关性与相互独立性是等价的

---

第五章 大数定律与中心极限定理

§1 大数定律

• 一. 依概率收敛 (定义): 设 $\{X_{n}\}$ 为随机变量序列, $X$ 为随机变量, 若任给 $\epsilon > 0$, 使得

$$\lim_{n \to \infty} P\{\vert X_{n} - X\vert < \epsilon\} = 1$$

则称 $\{X_{n}\}$ 依概率收敛于 $X$, 记为 $X_{n} \xrightarrow{P} X$

• 二. 常用的大数定律:
  1. 切比雪夫大数定律 : 设 $\{X_{k}\}$ 为独立的随机变量序列, 且有相同的期望 $E(X_{k})=\mu$, 和方差 $\sigma^{2} > 0$, 则样本均值 $\frac{1}{n} \sum_{k=1}^{n} X_{k}$ 依概率收敛于 $\mu$:

$$\lim_{n \to \infty} P\{\vert \frac{1}{n} \sum_{k=1}^{n} X_{k} - \mu\vert [cite_start]< \epsilon\} = 1$$

2.  **伯努利大数定律 (P100):** 设 $\mu_{n}$ 是 $n$ 次伯努利试验中事件 $A$ 发生的次数, $p$ 是 $A$ 发生的概率, 则**频率** $\frac{\mu_{n}}{n}$ 依概率收敛于**概率** $p$:

$$\lim_{n \to \infty} P\{\vert \frac{\mu_{n}}{n} - p\vert [cite_start]< \epsilon\} = 1$$

§2 中心极限定理

• 林德伯格-列维定理 (独立同分布):
  • 设 $X_{1}, X_{2}, \ldots, X_{n}$ 相互独立, 服从同一分布, 且 $E(X_{i}) = \mu$, $D(X_{i}) = \sigma^{2} > 0$。
  • 则当 $n$ 充分大时，和的标准化变量的分布函数趋于标准正态分布函数 $\Phi(y)$:

$$\lim_{n \to \infty} P\{\frac{\sum_{i=1}^{n} X_{i} - n\mu}{\sqrt{n\sigma^{2}}} \le y\} = \Phi(y)$$

• 棣莫弗-拉普拉斯定理 (二项分布):
  • 设 $\mu_{n} \sim B(n, p)$, 则当 $n$ 充分大时，频数的标准化变量的分布函数趋于标准正态分布函数 $\Phi(x)$:

$$\lim_{n \to \infty} P\{\frac{\mu_{n} - n p}{\sqrt{n p (1-p)}} \le x\} = \Phi(x)$$

• 例 (保险公司亏本概率 - 应用): 设 $X$ 表示一年内死亡人数, $X \sim B(n, p)$, $n=10000, p=0.006$。保险公司利润 $Y = 10000 \times 12 - 1000 X$。
  • 计算参数: $E(X) = n p = 60$, $D(X) = n p (1-p) = 59.64$, $\sqrt{D(X)} \approx 7.7227$
  • (1) 保险公司亏本的概率 $P\{Y < 0\}$ (推导):

$$P\{Y < 0\} = P\{120000 < 1000 X\} = P\{X > 120\}$$

$$P\{X > 120\} = 1 - P\{X \le 120\}$$

• 中心极限定理近似: $\frac{X - E(X)}{\sqrt{D(X)}} \sim N(0, 1)$

$$P\{X \le 120\} \approx \Phi(\frac{120 - 60}{7.7227}) \approx \Phi(7.75)$$

$$P\{Y < 0\} \approx 1 - \Phi(7.75) \approx 0$$

---

相关笔记

• 数理统计 — 从概率论到统计推断
• 随机微分方程 (SDE) — 连续时间随机过程
• MDP — 概率在决策中的应用
• Gamma 函数 — 常用概率分布的基础