二项分布矩生成函数收敛速率的上界求解

嗨，我来帮你梳理这个问题的解法思路～首先咱们先明确问题：给定二项分布 $S_n \sim Bin(n,p)$，我们要找标准化后变量的矩生成函数与正态分布矩生成函数（也就是 $e^{h2/2}$）差值的上界，用 $n,h,p$ 来表示。

首先你给出的矩生成函数表达式是完全正确的，我再帮你确认一下推导逻辑：
因为 $S_n$ 是 $n$ 个独立伯努利变量 $X_i \sim Bern(p)$ 的和，单个伯努利变量的矩生成函数是 $E[e^{tX_i}] = 1-p + pe^t$。标准化变量 $Z_n = \frac{S_n - np}{\sqrt{np(1-p)}}$ 的矩生成函数就是：
$$
E[e^{hZ_n}] = e^{-h\frac{np}{\sqrt{np(1-p)}}} \left(1-p + pe^{{\frac{h}{\sqrt{np(1-p)}}}\right)}n
$$
根据中心极限定理，这个表达式确实会随着 $n \to \infty$ 收敛到 $e^{h2/2}$，接下来咱们就来推导它的收敛上界。

核心推导步骤：泰勒展开+指数不等式 #

我们可以通过对矩生成函数的对数做泰勒展开，来量化它和 $\frac{h^2}{2}$ 的差值：

1. 令 $t = \frac{h}{\sqrt{np(1-p)}}$（当 $n$ 增大时，$t$ 会趋于0，适合做泰勒展开），先对 $\log\left(1-p + pe^t\right)$ 做三阶泰勒展开：
   $$
   \log\left(1-p + pe^t\right) = pt + \frac{p(1-p)t^2}{2} + \frac{p(1-p)(1-2p)}{6}t^3 + o(t^3)
   $$
2. 把这个结果乘以 $n$，再减去 $h\sqrt{\frac{np}{1-p}}$（也就是 $npt$，刚好和展开式的一阶项抵消），得到矩生成函数的对数：
   $$
   \log E[e^{hZ_n}] = \frac{h^2}{2} + \frac{(1-2p)h^3}{6\sqrt{np(1-p)}} + o\left(\frac{h^3}{\sqrt{np(1-p)}}\right)
   $$
3. 接下来用指数函数的 Lipschitz 性质：$|e^a - e^b| \leq e^{\max(a,b)}|a - b|$，这里 $a = \log E[e^{hZ_n}]$，$b = \frac{h^2}{2}$，代入后就能得到差值的上界。

最终上界形式 #

当 $n$ 足够大时，存在仅依赖于 $p$ 的常数 $C_p$（比如 $C_p = \frac{|1-2p|}{6} + o(1)$），使得：
$$
\left|E\left[e^{{h\frac{S_n-np}{\sqrt{np(1-p)}}}\right]-e}{h^2/2}\right| \leq C_p \cdot \frac{|h|^3}{\sqrt{np(1-p)}} \cdot e^{h2/2}
$$

额外补充个小细节：当 $p = \frac{1}{2}$ 时，$1-2p=0$，这时候三阶项消失，收敛速率会提升到 $O(n^{-1})$，因为下一项是四阶泰勒项，对应 $\frac{h^4}{n}$ 的量级。

备注：内容来源于stack exchange，提问作者hiratat