关于van der Vaart《渐近统计》中M估计量渐近正态性证明的疑问

我刚好对van der Vaart这本《渐近统计》里的定理5.21很熟悉，我来帮你理清最后一段的逻辑和那个不等式的来源：

首先先明确几个关键前提：

• 定理已经先证明了$\hat{\theta}_n$是渐近相合的（$\hat{\theta}_n \xrightarrow{p} \theta_0$）
• 我们要进一步得到$\sqrt{n}(\hat{\theta}_n - \theta_0)$的渐近正态性，而$\sqrt{n}$相合性（即$\sqrt{n}(\hat{\theta}_n - \theta_0) = O_p(1)$）是中间的关键跳板

1. 从$\sqrt{n}$相合性到渐近正态性的核心步骤 #

$\sqrt{n}$相合性告诉我们，$\hat{\theta}_n$和$\theta_0$的距离以$1/\sqrt{n}$的速度收敛到0，这就允许我们对M估计量的最优性条件做泰勒展开：

因为$\hat{\theta}n$是M估计量（假设是最小化$\sum \psi(X_i, \theta)$），所以有$\sum{i=1}^n \psi(X_i, \hat{\theta}_n) = o_p(\sqrt{n})$（这是M估计量的标准性质：极值点处的得分函数和为$o_p(\sqrt{n})$）

我们将$\psi(X_i, \hat{\theta}_n)$在$\theta_0$处做一阶泰勒展开：
$$
\psi(X_i, \hat{\theta}_n) = \psi(X_i, \theta_0) + \dot{\psi}(X_i, \theta_0)(\hat{\theta}_n - \theta_0) + r_i(\hat{\theta}_n, \theta_0)
$$
其中$r_i$是余项。由于$\sqrt{n}$相合性，$\hat{\theta}n - \theta_0 = O_p(1/\sqrt{n})$，结合$\dot{\psi}$的一致连续性（定理的正则条件），可以证明$\sum{i=1}^n r_i(\hat{\theta}_n, \theta_0) = o_p(\sqrt{n})$。

把展开式代入最优性条件，整理后得到：
$$
\sqrt{n}(\hat{\theta}n - \theta_0) = - \left( \frac{1}{n}\sum{i=1}^n \dot{\psi}(X_i, \theta_0) \right)^{-1} \frac{1}{\sqrt{n}} \sum_{i=1}^n \psi(X_i, \theta_0) + o_p(1)
$$
接下来：

• 由大数定律，$\frac{1}{n}\sum \dot{\psi}(X_i, \theta_0) \xrightarrow{p} E[\dot{\psi}(X, \theta_0)]$（记为$V$，正定矩阵，正则条件保证）
• 由中心极限定理，$\frac{1}{\sqrt{n}} \sum \psi(X_i, \theta_0) \xrightarrow{d} N(0, \Sigma)$（$\Sigma$是得分函数的协方差矩阵）

这样就可以直接推出$\sqrt{n}(\hat{\theta}_n - \theta_0) \xrightarrow{d} N(0, V^{-1}\Sigma V^{-1})$，也就是最终的渐近正态性结论。

2. 第53页不等式的来源 #

你提到的第53页的不等式，应该是来自M估计量的凸性或单调性假设（定理5.21的正则条件里包含了$\psi(x, \theta)$关于$\theta$是凸函数，或者是得分函数的单调性）。

具体来说，如果$\psi(x, \theta)$关于$\theta$是凸函数，那么对任意$\theta$，有：
$$
\psi(x, \hat{\theta}_n) - \psi(x, \theta_0) \geq \dot{\psi}(x, \theta_0)^T (\hat{\theta}n - \theta_0)
$$
对所有$i$求和后得到：
$$
\sum{i=1}^n [\psi(X_i, \hat{\theta}n) - \psi(X_i, \theta_0)] \geq \sum{i=1}^n \dot{\psi}(X_i, \theta_0)^T (\hat{\theta}_n - \theta_0)
$$
而因为$\hat{\theta}_n$是$\sum \psi(X_i, \theta)$的最小值点，左边的和是非正的（$\sum \psi(X_i, \hat{\theta}n) \leq \sum \psi(X_i, \theta_0)$），所以：
$$
\sum{i=1}^n \dot{\psi}(X_i, \theta_0)^T (\hat{\theta}_n - \theta_0) \leq 0 + o_p(\sqrt{n})
$$
两边除以$\sqrt{n}$，再结合$\frac{1}{n}\sum \dot{\psi}(X_i, \theta_0)$依概率收敛到正定矩阵$V$，就能推出$\sqrt{n}(\hat{\theta}_n - \theta_0) = O_p(1)$，也就是$\sqrt{n}$相合性——这就是那个不等式的作用：从渐近相合性推导出更强的$\sqrt{n}$相合性，为后续的泰勒展开铺路。

内容的提问来源于stack exchange，提问作者user144410