几何分布参数极大似然估计的无偏性分析及$E\left(\frac{1}{\overline{X}}\right)$求解

嘿，你前面的推导完全没问题！$\hat{\theta}=\overline{X}$和$\hat{p}=1/\overline{X}$的MLE结果是对的，$\hat{\theta}$的无偏性也验证到位了。关于$\hat{p}$的有偏性，确实直接计算$E\left(\frac{1}{\overline{X}}\right)$看起来有点棘手，不过我们可以用两种方法来搞定它——一种是靠Jensen不等式快速判断，另一种是通过分布变换来具体推导，我给你详细说说：

方法一：用Jensen不等式快速判断有偏性 #

首先回忆下Jensen不等式的核心结论：对于严格凸函数$f(x)$，如果$X$不是常数随机变量，那么$E[f(X)] > f(E[X])$；如果是严格凹函数则不等式方向相反。

这里我们取$f(x)=\frac{1}{x}$，这个函数在$x>0$的区间是严格凸的（你可以求二阶导数验证：$f''(x)=\frac{2}{x^3}>0$）。而$\overline{X}$显然是个非常数的随机变量（除非样本量$n$趋向无穷大，但这里$n$是有限的），所以代入Jensen不等式可得：
$$E\left(\frac{1}{\overline{X}}\right) > \frac{1}{E[\overline{X}]}$$
我们已经知道$E[\overline{X}]=\theta=\frac{1}{p}$，所以$\frac{1}{E[\overline{X}]}=p$，代入上式就得到：
$$E\left(\frac{1}{\overline{X}}\right) > p$$
这直接说明$\hat{p}=\frac{1}{\overline{X}}$的期望不等于真实参数$p$，而是大于$p$，所以它是有偏估计。这个方法不用复杂计算，几步就能得出结论，非常高效！

方法二：通过负二项分布直接计算$E\left(\frac{1}{\overline{X}}\right)$ #

如果你想深入了解具体的期望计算过程，我们可以从$\overline{X}$的分布入手：

令$S=\sum_{i=1}^n X_i$，那么$\overline{X}=\frac{S}{n}$，所以$\frac{1}{\overline{X}}=\frac{n}{S}$，问题转化为计算$E\left(\frac{1}{S}\right)$。

注意到独立同分布的几何分布（取值为1,2,...）的和$S$服从负二项分布：$S \sim \mathrm{NegativeBinomial}(n,p)$，它的概率质量函数是：
$$P(S=k)=\binom{k-1}{n-1} p^n (1-p)^{k-n}, \quad k=n,n+1,n+2,\ldots$$

那么$E\left(\frac{1}{S}\right)$就可以表示为无穷求和：
$$E\left(\frac{1}{S}\right)=\sum_{k=n}^\infty \frac{1}{k} \binom{k-1}{n-1} p^n (1-p)^{k-n}$$

为了简化这个求和，我们可以利用积分表示$\frac{1}{k}=\int_0^1 t^{k-1} dt$（这个小技巧在处理倒数的期望时很常用），代入后交换求和与积分的顺序（因为所有项都是非负的，满足单调收敛定理，交换是合法的）：
$$E\left(\frac{1}{S}\right)=\int_0^1 p^n t^{n-1} \sum_{k=n}^\infty \binom{k-1}{n-1} [(1-p)t]^{k-n} dt$$

令$m=k-n$，则求和部分变为$\sum_{m=0}^\infty \binom{m+n-1}{n-1} [(1-p)t]^{m$，这是负二项式级数，它的和为$\frac{1}{[1-(1-p)t]}n}$。代入后得到：
$$E\left(\frac{1}{S}\right)=\int_0^1 \frac{p^n t^{{n-1}}{[1-(1-p)t]}n} dt$$

接下来做变量替换$u=1-(1-p)t$，则$t=\frac{1-u}{1-p}$，$dt=-\frac{du}{1-p}$，积分上下限从$t=0,u=1$变为$t=1,u=p$，代入化简后：
$$E\left(\frac{1}{S}\right)=\frac{p^n}{(1-p)n} \int_p^1 (1-u)^{n-1} u^{-n} du$$

这个积分可以用不完全Beta函数表示，但其实我们不需要算出具体数值——从这个表达式也能看出，它的结果肯定大于$p$，和Jensen不等式的结论一致，进一步验证了$\hat{p}$的有偏性。

总结一下：

• 优先用Jensen不等式，快速高效地判断$\hat{p}$是有偏估计；
• 如果想深入推导，通过负二项分布的求和与积分变换，可以得到$E\left(\frac{1}{\overline{X}}\right)$的具体表达式，同样能验证有偏性。

备注：内容来源于stack exchange，提问作者Bob Zorro