极大似然估计量是样本均值还是最小顺序统计量？含特定分布MLE求解疑问

嘿，这个问题确实很容易踩坑——毕竟它和均匀分布这类带参数取值约束的情况类似，常规求导得到的结果往往会因为不符合参数的可行范围而失效，得仔细拆解分析！

首先明确总体的概率密度函数：
$$f(x)=\dfrac{1}{\theta} e^\frac{-(x-\theta)}{\theta} ;x\geq\theta,\quad\theta>0$$

1. 构建似然函数 #

对于样本$X_1,X_2,...,X_n$，似然函数是每个样本密度的乘积，但必须注意参数的约束条件：只有当$\theta \leq X_i$对所有$i=1,2,...,n$成立时，每个$f(X_i)$才不为0，否则似然函数直接为0。

所以似然函数可以写成：
$$
L(\theta) =
\begin{cases}
\left( \dfrac{1}{\theta} \right)^n \exp\left( -\dfrac{1}{\theta}\sum_{i=1}^n (X_i - \theta) \right), & \theta \leq X_{(1)} \
0, & \theta > X_{(1)}
\end{cases}
$$
这里$X_{(1)} = \min{X_1,X_2,...,X_n}$是样本的最小顺序统计量。

2. 求对数似然并尝试求导 #

先把似然里的指数部分展开简化：
$$\exp\left( -\dfrac{1}{\theta}\sum_{i=1}^n (X_i - \theta) \right) = \exp\left( -\dfrac{1}{\theta}\sum X_i + n \right) = e^n \exp\left( -\dfrac{n\bar{X}}{\theta} \right)$$
其中$\bar{X} = \frac{1}{n}\sum X_i$是样本均值。

对应的对数似然函数（仅在$\theta \leq X_{(1)}$的有效范围内）为：
$$
\ell(\theta) = \ln L(\theta) = -n\ln\theta - \dfrac{n\bar{X}}{\theta} + n
$$

对$\theta$求导找驻点：
$$
\dfrac{d\ell(\theta)}{d\theta} = -\dfrac{n}{\theta} + \dfrac{n\bar{X}}{\theta^2} = \dfrac{n(\bar{X} - \theta)}{\theta^2}
$$

令导数等于0，得到驻点$\hat{\theta} = \bar{X}$。但这里要敲个警钟：这个驻点是否在参数的可行域内？

3. 分析似然函数的单调性 #

观察导数$\dfrac{d\ell(\theta)}{d\theta} = \dfrac{n(\bar{X} - \theta)}{\theta^2}$，因为$\theta>0$，分母始终为正。而样本均值$\bar{X}$必然大于等于样本最小值$X_{(1)}$（均值不可能比最小的样本还小）。

那在参数的可行域$\theta \leq X_{(1)}$内，$\bar{X} - \theta \geq \bar{X} - X_{(1)} \geq 0$，也就是说：在$\theta$的有效取值范围内，对数似然函数$\ell(\theta)$是关于$\theta$的单调递增函数！

既然函数单调递增，要最大化它，自然要取可行域内$\theta$的最大值——也就是$\theta = X_{(1)}$。

最终结论 #

$\theta$的极大似然估计量是最小顺序统计量$X_{(1)}$，而非样本均值$\bar{X}$。核心原因是常规求导得到的驻点$\bar{X}$不在参数的可行域$\theta \leq X_{(1)}$内（除非所有样本完全相等，这是概率为0的极端情况），所以我们必须在可行域内寻找似然函数的最大值，而单调递增的特性让最大值出现在可行域的右端点，也就是最小顺序统计量。

内容的提问来源于stack exchange，提问作者DSR