利用Chernoff界推导概率极限等式:从式(2)到式(1)的证明问询
嘿,我来一步步帮你理清怎么从式(2)推导出式(1),核心是用概率论里的Borel-Cantelli引理来连接“有限n的概率收敛”和“几乎必然的极限结果”~
先把已知条件再明确一下:
- 设$X_1, ..., X_n$是独立伯努利随机变量,它们的和为$S_n$,每个$X_i$取1的概率$p > 1/2$。
- 通过Chernoff界,我们已经得到对任意有限n:
$$\Pr\left[S_n>{n \over 2}\right]\geq 1-e^{-{\frac {1}{2p}}n\left(p-{\frac {1}{2}}\right)^{2}}$$ - 进而推出了式(2):
$$\lim_{n \to \infty}\Pr\left[S_n>{n \over 2}\right]=1 \tag{2}$$
现在我们要证明的式(1)是:
$$\Pr\left[\lim_{n \to \infty} \frac{S_n}{n}>{1 \over 2}\right]=1 \tag{1}$$
核心推导:用Borel-Cantelli引理搭桥
要完成这个推导,关键是把“对每个大n,$S_n > n/2$的概率趋近于1”,转化为“几乎必然地,$\frac{S_n}{n}$的极限严格大于1/2”,具体步骤如下:
定义事件序列:
对每个正整数n,令$A_n = \left{ S_n \leq \frac{n}{2} \right}$——也就是我们不想看到的情况:第n次的样本均值没超过1/2。计算事件概率的级数和:
根据Chernoff界的结果,$\Pr(A_n) = 1 - \Pr\left[S_n > \frac{n}{2}\right] \leq e^{-{\frac {1}{2p}}n\left(p-{\frac {1}{2}}\right)^{2}}$。
因为$p>1/2$,所以指数上的系数$\frac{1}{2p}(p - 1/2)2$是个正数,这意味着$\Pr(A_n)$是**指数衰减**的,对应的级数$\sum_{n=1}\infty \Pr(A_n)$必然收敛(比普通的几何级数收敛得还快)。应用Borel-Cantelli引理第一部分:
这个引理的核心结论是:如果一个事件序列的概率和收敛,那么“无穷多个事件发生”的概率为0。放到我们的场景里就是:
$$\Pr\left( \limsup_{n\to\infty} A_n \right) = 0$$
翻译成大白话就是:“无穷多次出现$S_n \leq n/2$”这件事几乎不可能发生。补事件的概率为1:
$\limsup A_n$的补事件是“只有有限个$A_n$发生”——也就是说,存在某个正整数N,当n > N时,$S_n > \frac{n}{2}$就一直成立了。这个补事件的概率是1,因为原事件概率为0。关联到极限结论:
如果当n足够大时,$\frac{S_n}{n} > \frac{1}{2}$恒成立,再结合我们已经知道的强大数定律($\frac{S_n}{n}$几乎必然收敛到p>1/2),显然可以推出$\lim_{n\to\infty} \frac{S_n}{n} > \frac{1}{2}$几乎必然成立,这就是我们要的式(1)啦!
另外补充一点:你也可以从几乎必然收敛的定义出发,对任意$\epsilon \in (0, p - 1/2)$,用Chernoff界估计$\Pr\left[S_n \leq \frac{n}{2} + \epsilon n\right]$,再重复上面的步骤,也能得到同样的结论,本质都是用Borel-Cantelli引理把“有限n的概率估计”升级为“几乎必然的极限结果”。
内容的提问来源于stack exchange,提问作者Susan_Math123

