关于概率密度$f(x, \theta)=\frac{\theta}{x^2}$的统计推断问题

咱们一步步来拆解这个问题，分三个小部分逐一分析：

问题a) 判断$S=\min{x_1,\cdots,x_n}$是否为充分统计量、极小充分统计量 #

首先回忆因子分解定理：一个统计量$T(X)$是充分统计量当且仅当似然函数可以分解为$L(\theta|X)=g(\theta,T(X))h(X)$，其中$h(X)$与$\theta$无关。

写出样本的似然函数：
$$
L(\theta|x_1,\cdots,x_n)=\prod_{i=1}^n \frac{\theta}{x_i^2} \cdot I(x_i \geq \theta)
$$
这里$I(\cdot)$是指示函数，当括号内条件成立时取1，否则取0。

把似然函数整理一下：
$$
L(\theta|x_1,\cdots,x_n)=\theta^n \cdot \left(\prod_{i=1}^n \frac{1}{x_i^2}\right) \cdot I(\min{x_1,\cdots,x_n} \geq \theta)
$$
对比因子分解定理的形式，我们可以令：

• $g(\theta,S)=\theta^n \cdot I(S \geq \theta)$（只和$\theta$与$S=\min{x_i}$有关）
• $h(x_1,\cdots,x_n)=\prod_{i=1}^n \frac{1}{x_i^2}$（和$\theta$完全无关）

所以根据因子分解定理，$S=\min{x_1,\cdots,x_n}$是$\theta$的充分统计量。

接下来判断是否为极小充分统计量：
假设存在两个样本集合$(x_1,\cdots,x_n)$和$(y_1,\cdots,y_n)$，使得似然比$\frac{L(\theta|x)}{L(\theta|y)}$与$\theta$无关。观察似然比：
$$
\frac{L(\theta|x)}{L(\theta|y)}=\frac{\theta^n \cdot I(\min x_i \geq \theta) \cdot \prod 1/x_i^2}{\thetan \cdot I(\min y_i \geq \theta) \cdot \prod 1/y_i^2} = \left(\frac{\prod y_i^2}{\prod x_i^2}\right) \cdot \frac{I(\min x_i \geq \theta)}{I(\min y_i \geq \theta)}
$$
要让这个比值与$\theta$无关，必须满足$\min x_i = \min y_i$（否则当$\theta$落在$(\min y_i, \min x_i)$或反之区间时，指示函数的比值会变化）。这意味着两个样本集合对应的$S$值相等时，似然比才与$\theta$无关，根据极小充分统计量的定义，$S$是极小充分统计量。

问题b) 求$\theta$的极大似然估计（MLE）并判断是否无偏 #

首先看似然函数$L(\theta)$的特性：当$\theta > \min{x_i}$时，指示函数$I(\min x_i \geq \theta)=0$，似然函数为0；当$\theta \leq \min{x_i}$时，$L(\theta)=\theta^n \cdot \text{常数}$，这是一个关于$\theta$的单调递增函数（因为$\theta>0$，$n$是正整数）。

所以要最大化似然函数，$\theta$的取值应该尽可能大，直到达到$\min{x_i}$，因此$\theta$的极大似然估计为：
$$
\hat{\theta}_{MLE} = \min{x_1,\cdots,x_n} = S
$$

接下来判断无偏性：需要计算$E[\hat{\theta}_{MLE}]=E[S]$。先求$S$的分布函数：
$$
F_S(s)=P(S \leq s)=1-P(S > s)=1-P(\text{所有}X_i > s)
$$
当$s < \theta$时，$P(X_i > s)=1$，所以$F_S(s)=0$；当$s \geq \theta$时，$P(X_i > s)=\int_s^\infty \frac{\theta}{t^2}dt = \frac{\theta}{s}$，因此：
$$
F_S(s)=1 - \left(\frac{\theta}{s}\right)^n \quad (s \geq \theta)
$$
对分布函数求导得到概率密度：
$$
f_S(s)=F_S'(s)=\frac{n\theta^n}{s{n+1}} \quad (s \geq \theta)
$$

计算期望：
$$
E[S]=\int_{\theta}^\infty s \cdot \frac{n\theta^n}{s{n+1}} ds = n\theta^n \int_{\theta}^\infty s^{-n} ds
$$
当$n>1$时，积分收敛：
$$
E[S]=n\theta^n \cdot \left. \frac{s^{-(n-1)}}{-(n-1)} \right|{\theta}^\infty = \frac{n\theta}{n-1}
$$
显然$E[S]=\frac{n\theta}{n-1} \neq \theta$，所以MLE$\hat{\theta}{MLE}=S$是有偏估计量；当$n=1$时，积分发散，期望不存在，此时也不满足无偏性。

问题c) 求$S$的分布，并判断是否存在形如$cS$的无偏估计量 #

$S$的分布 #

在问题b)中已经推导完成：

• 分布函数：$F_S(s)=\begin{cases}0, & s < \theta \1 - \left(\frac{\theta}{s}\right)^n, & s \geq \theta\end{cases}$
• 概率密度：$f_S(s)=\begin{cases}0, & s < \theta \\frac{n\theta^n}{s{n+1}}, & s \geq \theta\end{cases}$

是否存在形如$cS$的无偏估计量 #

假设存在常数$c$使得$E[cS]=\theta$，即$c \cdot E[S]=\theta$。

当$n>1$时，$E[S]=\frac{n\theta}{n-1}$，代入得：
$$
c \cdot \frac{n\theta}{n-1} = \theta \implies c=\frac{n-1}{n}
$$
此时$\frac{n-1}{n}S$就是$\theta$的无偏估计量，存在这样的$c$。

当$n=1$时，$E[S]=E[X_1]=\int_{\theta}^\infty x \cdot \frac{\theta}{x^2}dx = \theta \int_{\theta}^\infty \frac{1}{x}dx$，这个积分发散，期望不存在，因此不存在这样的常数$c$使得$E[cS]=\theta$。

内容的提问来源于stack exchange，提问作者Maffred