条件独立随机变量的大数定律推导与序列收敛性证明

嘿，我来帮你一步步拆解这个条件独立随机变量的大数定律（LLN）推导和序列收敛性证明的思路，尽量用直观的逻辑而非堆砌公式：

首先明确问题前提 #

我们有一个随机变量序列 $(X_n)_{n \geq 1}$，所有变量都取值于有限集 $B$，满足：

1. 序列是条件独立的（通常默认是关于前 $n-1$ 个变量生成的σ-域 $\sigma(X_1,...,X_{n-1})$ 条件独立）；
2. 存在常数 $0 < c \leq C < \infty$，对任意 $n$、任意条件事件（即 $\sigma(X_1,...,X_{n-1})$ 中的任意事件），以及任意 $b \in B$，都有：
   $$c \leq \mathbb{P}(X_n = b \mid \sigma(X_1,...,X_{n-1})) \leq C$$
   简单说就是每个 $X_n$ 取某个值的条件概率，不会太接近0或1，而且这个上下限和之前的样本无关。

我们要完成两个目标：推导该序列的大数定律，以及证明序列的收敛性（这里的收敛指样本均值的收敛，也就是LLN所描述的收敛）。

第一步：从指示函数入手（有限集的便利） #

因为 $B$ 是有限集，我们可以先处理最简单的函数——指示函数：对任意 $b \in B$，定义 $Y_{n,b} = \mathbb{I}{X_n = b}$（当 $X_n=b$ 时取1，否则取0）。我们先证明 $\frac{1}{n}\sum_{k=1}^n Y_{k,b}$ 的收敛性，再推广到任意函数。

构造鞅差序列 #

令 $\mathcal{F}{n-1} = \sigma(X_1,...,X{n-1})$，定义鞅差项：
$$D_{k,b} = Y_{k,b} - \mathbb{E}[Y_{k,b} \mid \mathcal{F}{k-1}]$$
根据条件独立的定义，$\mathbb{E}[D{k,b} \mid \mathcal{F}{k-1}] = 0$，所以序列 $M{n,b} = \sum_{k=1}^n D_{k,b}$ 是一个鞅。

用切比雪夫不等式证依概率收敛 #

先计算鞅的方差：
$$\mathbb{E}[M_{n,b}^2] = \sum_{k=1}^n \mathbb{E}[D_{k,b}^2]$$
因为 $Y_{k,b}$ 是0-1变量，$D_{k,b}^2 = Y_{k,b} - (\mathbb{E}[Y_{k,b} \mid \mathcal{F}{k-1}])^2$，而条件概率有界 $c \leq \mathbb{E}[Y{k,b} \mid \mathcal{F}{k-1}] \leq C$，所以 $\mathbb{E}[D{k,b}^2] \leq \mathbb{E}[Y_{k,b}] \leq C$，因此：
$$\mathbb{E}[M_{n,b}^2] \leq nC$$
对任意 $\epsilon > 0$，用切比雪夫不等式：
$$\mathbb{P}\left( \left| \frac{1}{n}M_{n,b} \right| > \epsilon \right) \leq \frac{\mathbb{E}[M_{n,b}^2]}{n2\epsilon^2} \leq \frac{C}{n\epsilon^2} \to 0 \quad (n \to \infty)$$
这说明 $\frac{1}{n}\sum_{k=1}^n Y_{k,b} - \frac{1}{n}\sum_{k=1}^n \mathbb{E}[Y_{k,b} \mid \mathcal{F}_{k-1}]$ 依概率收敛到0。

用鞅的强大数定律证几乎必然收敛 #

如果要更强的几乎必然收敛，我们可以用鞅的强大数定律：若鞅差序列满足 $\sum_{k=1}^\infty \frac{\mathbb{E}[D_{k,b}^2]}{k2} < \infty$，则 $\frac{1}{n}\sum_{k=1}^n D_{k,b}$ 几乎必然收敛到0。

因为 $\mathbb{E}[D_{k,b}^2] \leq C$，而级数 $\sum_{k=1}^\infty \frac{C}{k^2}$ 是收敛的（p级数，p=2>1），所以满足条件，因此：
$$\frac{1}{n}\sum_{k=1}^n (Y_{k,b} - \mathbb{E}[Y_{k,b} \mid \mathcal{F}_{k-1}]) \xrightarrow{a.s.} 0$$

第二步：处理条件期望的平均 #

接下来看 $\frac{1}{n}\sum_{k=1}^n \mathbb{E}[Y_{k,b} \mid \mathcal{F}{k-1}]$，记 $Z{k,b} = \mathbb{P}(X_k = b \mid \mathcal{F}_{k-1})$，它的取值在 $[c,C]$ 之间。

因为 $Z_{k,b}$ 是有界序列，它的样本平均 $\frac{1}{n}\sum_{k=1}^n Z_{k,b}$ 也是有界的，再结合第一步的结果，$\frac{1}{n}\sum_{k=1}^n Y_{k,b}$ 几乎必然收敛当且仅当 $\frac{1}{n}\sum_{k=1}^n Z_{k,b}$ 几乎必然收敛。

而根据有界鞅的收敛定理（这里 $Z_{k,b}$ 构成的序列是有界的适应序列），$\frac{1}{n}\sum_{k=1}^n Z_{k,b}$ 几乎必然收敛到某个常数 $\mu_b \in [c,C]$。

第三步：推广到任意函数 #

因为 $B$ 是有限集，任意函数 $f: B \to \mathbb{R}$ 都可以表示为指示函数的线性组合：
$$f(x) = \sum_{b \in B} f(b) \cdot \mathbb{I}{x = b}$$
那么样本均值可以拆分为：
$$\frac{1}{n}\sum_{k=1}^n f(X_k) = \sum_{b \in B} f(b) \cdot \frac{1}{n}\sum_{k=1}^n Y_{k,b}$$
由于每个 $\frac{1}{n}\sum_{k=1}^n Y_{k,b}$ 都收敛（依概率或几乎必然），线性组合后的样本均值也必然收敛，这就完成了大数定律的推导。

关于序列 $(X_n)_{n \geq 1}$ 的收敛性 #

题目中说的“Show convergence of $(X_n){n \geq 1}$”，结合LLN的背景，这里的收敛指的是样本均值的收敛（即经验分布的收敛）：对任意有界函数 $f$，样本均值 $\frac{1}{n}\sum{k=1}^n f(X_k)$ 依概率或几乎必然收敛到某个极限值。

备注：内容来源于stack exchange，提问作者Star