基于Hoeffding不等式与CLT近似的二项和95%置信区间对比咨询

最近我在啃Larry Wasserman写的All of Statistics这本书，突然好奇想对比一下两种方法得到的95%置信区间——一种是用Hoeffding不等式推导的，另一种是用中心极限定理（CLT）近似的，针对的是一组二项分布变量的和。

具体来说，我们设定每个变量 $X_i \sim \text{Binomial}\left(\frac{1}{2}\right)$，令 $\bar{X} = \sum_{i=1}^n X_i$（这里的$\bar{X}$其实是变量和，保留原文的符号设定）。可以算出：

• 期望：$\mathbb{E}[\bar{X}] = \frac{n}{2}$
• 方差：$\mathbb{V}[\bar{X}] = \sigma^2 = np(1-p) = \frac{n}{4}$

用CLT近似的95%置信区间长度 #

根据中心极限定理，95%置信区间对应着均值加减1.96倍标准差的范围，所以区间的长度计算如下：
$$
2 \cdot \left(1.96 \cdot \sqrt{\frac{n}{4}}\right) = 1.96\sqrt{n}
$$

用Hoeffding不等式推导的95%置信区间 #

同时，Hoeffding不等式给出了变量和偏离期望的概率上界：
$$
P\left(|\bar{X} - \mathbb{E}[\bar{X}]| \geq \epsilon\right) \leq 2e^{-2n\epsilon2}
$$
要得到95%的置信区间，我们可以令这个上界等于0.05，解出对应的$\epsilon$值，这个$\epsilon$就是区间的半长，进而就能得到整个区间的长度。

备注：内容来源于stack exchange，提问作者armando bond