关于矩阵形式克拉美-罗界不同版本一致性的技术问询

Introduction and notation #

先从单参数的克拉美-罗界（Cramér-Rao bound）入手，它的核心表达式是：

$$\text{var}(\hat\theta)\geq\frac{1}{J(\theta)},$$

这里的符号含义咱们一一理清楚：

• $\theta$ 是概率密度函数 $f(X;\theta)$ 里我们关注的目标参数
• $\hat\theta(X)$ 是 $\theta$ 的无偏估计量
• $\text{var}$ 表示方差
• $J(\theta)$ 就是大家常说的Fisher信息，它的定义式是：

$$J(\theta)=\mathbb E\left[\left(\frac{\partial}{\partial\theta}\log f(X;\theta) \right)^2\right].$$

当我们把这个结论推广到多参数场景时，Fisher信息就从标量升级成了矩阵形式。这个Fisher信息矩阵的元素定义为：

$$J_{ij}(\theta)=\mathbb E\left[\left(\frac{\partial}{\partial\theta_i}\log f(X;\theta) \right)\left(\frac{\partial}{\partial\theta_j}\log f(X;\theta) \right)\right]$$

备注：内容来源于stack exchange，提问作者AccidentalTaylorExpansion