强大数定律与紧集上一致收敛：样本均值几乎必然收敛性问题

设$f:\mathbb{R}^d\to\mathbb{R}$为连续函数，$(X_i){i\in\mathbb{N}}$是随机变量$X$的独立同分布拷贝，且$X$可积。由强大数定律，以概率1有：
$$\lim{n\to\infty}\frac{1}{n}\sum_{i=1}^n f(X_i) = E[f(X)]$$
现在问：若存在连续函数序列$(f_i){i\in\mathbb{N}}$在每个紧集上一致收敛于$f$，是否仍以概率1成立：
$$\lim{n\to\infty}\frac{1}{n}\sum_{i=1}^n f_i(X_i) = E[f(X)]$$

答案是否定的，我们可以构造一个明确的离散随机变量例子来证明这一点：

1. 定义可积随机变量$X$
   取$d=1$，令$X$为取值正整数的离散随机变量，概率分布为：
   $$P(X=k) = \frac{6}{\pi^2 k^2}, \quad k=1,2,3,\dots$$
   这里$\frac{6}{\pi^{2}$是归一化常数（因为$\sum_{k=1}}\infty \frac{1}{k^2}=\frac{\pi2}{6}$），显然$X$可积：
   $$E[X] = \sum_{k=1}^\infty k\cdot\frac{6}{\pi^2 k^2} = \frac{6}{\pi^2}\sum_{k=1}\infty \frac{1}{k^2} = 1 < \infty$$

2. 定义满足收敛条件的函数序列$f_n$
   令$f(x)=0$（显然是连续函数），对每个$n\in\mathbb{N}$，定义连续函数$f_n(x)$：

• 当$x=n$时，$f_n(n)=n$；
• 当$x$是不等于$n$的整数时，$f_n(x)=0$；
• 在整数之间的区间上，$f_n(x)$做线性插值（保证连续性）。

3. 验证$f_n$在紧集上一致收敛于$f$
   任取紧集$K\subset\mathbb{R}$，由于紧集是有界的，存在某个正整数$M$，使得$K\subset(-\infty,M]$。当$n>M$时，$n\notin K$，而$f_n(x)$仅在$n$附近非零，因此对所有$x\in K$，$f_n(x)=0=f(x)$，显然在$K$上一致收敛。

4. 分析样本均值的极限
   考虑$\frac{1}{n}\sum_{i=1}^n f_i(X_i)$：

• 对于每个样本$X_i$，$f_i(X_i)$只有当$X_i=i$时取到值$i$，否则为0，因此：
  $$\frac{1}{n}\sum_{i=1}^n f_i(X_i) = \frac{1}{n}\sum_{i=1}^n i\cdot I_{{X_i=i}}$$
• 固定$X=k$（以概率1成立，因为$X$只取正整数），令$N_n(k)$表示前$n$个样本中等于$k$的次数。由强大数定律，$\frac{N_n(k)}{n}\to P(X=k)=\frac{6}{\pi^2 k^2}$，当$n\to\infty$时以概率1成立。
• 当$n\geq k$时，$\sum_{i=1}^n i\cdot I_{{X_i=i}} = k\cdot N_n(k)$，因此：
  $$\lim_{n\to\infty}\frac{1}{n}\sum_{i=1}^n f_i(X_i) = \lim_{n\to\infty}\frac{k\cdot N_n(k)}{n} = k\cdot\frac{6}{\pi^2 k^2} = \frac{6}{\pi^2 k^2} \neq 0 = E[f(X)]$$

这说明样本均值几乎必然收敛到一个非零的随机变量，而非$E[f(X)]=0$，因此原命题不成立。

内容的提问来源于stack exchange，提问作者master_goon