如何计算极大似然估计（MLE）参数子集的协方差？

咱们先从已有的基础结论入手哈：假设$X_1, \dots, X_n$是独立同分布的随机向量，它们的密度函数为$f(x_i \mid \theta^{*)$，其中真实参数$\theta}* = (\theta_1^, \theta_2^{*)$被拆分成了$\theta_1}$和$\theta_2^*$两个子向量。在常规的正则性条件下，根据MLE的渐近正态性，我们有如下结论：

$$
\sqrt{n} \begin{pmatrix} \hat{\theta_1} - \theta_1^* \ \hat{\theta_2} - \theta_2^* \end{pmatrix} \overset{d}{\to} N \left( 0, I_0(\theta^*){-1} \right),
$$

这里的$I_0(\theta^{*)$是在真实参数$\theta}*$处计算的Fisher信息矩阵，所以整个MLE向量的渐近协方差矩阵就是$I_0(\theta^*){-1}$。

那要单独计算某个参数子集（比如$\hat{\theta_1}$）的协方差，或者两个子集之间的协方差，核心就是对分块矩阵的逆矩阵做拆解，具体步骤是这样的：

1. 对Fisher信息矩阵分块
   按照参数的拆分方式，把$I_0(\theta^)$对应拆成分块矩阵：
   $$
   I_0(\theta^) = \begin{pmatrix} I_{11} & I_{12} \ I_{21} & I_{22} \end{pmatrix}
   $$
   其中：

   • $I_{11}$是只和$\theta_1^{*$相关的子信息矩阵，维度和$\theta_1}*$一致
   • $I_{22}$是只和$\theta_2^{*$相关的子信息矩阵，维度和$\theta_2}*$一致
   • $I_{12}=I_{21}^T$是两个参数子集之间的交叉信息项

2. 计算分块逆矩阵的对应块
   根据分块矩阵的逆矩阵公式，$I_0(\theta^*){-1}$可以拆成对应的分块形式：
   $$
   I_0(\theta^*){-1} = \begin{pmatrix} V_{11} & V_{12} \ V_{21} & V_{22} \end{pmatrix}
   $$
   各个块的计算公式是：

   • $\boldsymbol{V_{11} = (I_{11} - I_{12}I_{22}^{-1}I_{21}){-1}}$：这是$\sqrt{n}(\hat{\theta_1} - \theta_1^*)$的渐近协方差矩阵，所以$\hat{\theta_1}$的渐近协方差就是$\frac{1}{n}V_{11}$
   • $\boldsymbol{V_{22} = (I_{22} - I_{21}I_{11}^{-1}I_{12}){-1}}$：对应$\hat{\theta_2}$的渐近协方差是$\frac{1}{n}V_{22}$
   • $\boldsymbol{V_{12} = -I_{11}^{-1}I_{12}V_{22}}$（或者等价形式）：这就是$\hat{\theta_1}$和$\hat{\theta_2}$之间的渐近协方差矩阵，对应的协方差是$\frac{1}{n}V_{12}$

3. 实际计算的小技巧
   因为真实参数$\theta^{*$是未知的，我们通常会用在MLE估计值$\hat{\theta}$处计算的Fisher信息矩阵（或者观测信息矩阵，即对数似然函数的二阶负导数矩阵）来代替真实的$I_0(\theta}*)$，这样就能得到可实际计算的估计值啦。

备注：内容来源于stack exchange，提问作者June Kalicharan