关于正态分布参数γ的Fisher信息计算疑问
关于正态分布参数γ的Fisher信息计算疑问
嘿,别担心,你的计算结果其实是完全正确的!Fisher信息和γ无关这件事看起来有点反直觉,但咱们一步步拆解下来就会发现它的合理性:
首先,咱们把推导过程再走一遍,确认你的结论没问题:
- 写出对数似然函数:
对于独立同分布的样本 $X_1,\dots,X_n \sim \mathrm{N}(0, \exp(2\gamma))$,联合对数似然是:
$$
\ell(\gamma; X_1,\dots,X_n) = \sum_{i=1}^n \left[ -\frac{1}{2}\ln(2\pi) - \gamma - \frac{X_i^2 e^{-2\gamma}}{2} \right]
$$ - 求一阶偏导:
对γ求导后得到:
$$
\frac{\partial \ell}{\partial \gamma} = \sum_{i=1}^n \left[ -1 + X_i^2 e^{-2\gamma} \right]
$$ - 求二阶偏导并计算负期望:
二阶偏导是:
$$
\frac{\partial^2 \ell}{\partial \gamma^2} = \sum_{i=1}^n \left[ -2 X_i^2 e^{-2\gamma} \right]
$$
取负期望时,利用 $E[X_i^2] = \exp(2\gamma)$(这是正态分布的方差),代入后:
$$
-E\left[\frac{\partial^2 \ell}{\partial \gamma^2}\right] = \sum_{i=1}^n 2 \cdot \exp(2\gamma) \cdot e^{-2\gamma} = \sum_{i=1}^n 2 = 2n
$$
完全和你得到的结果一致,说明你的计算没有出错。
那为什么会出现Fisher信息和参数γ无关的情况?咱们换个角度用参数变换的思路理解:
把方差记为 $\sigma^2 = \exp(2\gamma)$,也就是 $\gamma = \frac{1}{2}\ln\sigma2$,这是一个**一一对应的单调参数变换**。我们可以先计算关于$\sigma2$的Fisher信息,再用Fisher信息的变换规则验证:
- 单个样本关于$\sigma^2$的Fisher信息是 $\frac{1}{2(\sigma2)2}$,n个样本的Fisher信息就是 $\frac{n}{2(\sigma2)2}$
- 对变换$\gamma = \frac{1}{2}\ln\sigma^2$求导,得到 $\frac{d\sigma^2}{d\gamma} = 2\exp(2\gamma) = 2\sigma^2$
- 根据Fisher信息的变换规则:若$\gamma = g(\sigma^2)$,则$I_\gamma(\gamma) = I_{\sigma2}(\sigma2) \cdot \left(\frac{d\sigma2}{d\gamma}\right)2$
- 代入数值后:$I_\gamma(\gamma) = \frac{n}{2(\sigma2)2} \cdot (2\sigma2)2 = \frac{n}{2(\sigma2)2} \cdot 4(\sigma2)2 = 2n$
你看,不管用哪种方法推导,结果都是2n,和γ无关。这是因为γ是方差的对数变换,这种非线性变换刚好让Fisher信息里的$\sigma^2$项完全抵消,最终变成了常数。这种情况在参数变换中并不罕见,完全是合理的,不是你的计算失误哦。
备注:内容来源于stack exchange,提问作者trivial_fish
相关产品推荐
相关产品推荐

