Beta分布的极大似然估计(MLE)求解：求BETA(θ,1)的θ估计量

没问题，我们一步步来完成这个极大似然估计的推导，确认最终的估计量是否正确：

1. 已知条件回顾 #

• 样本：$X_1,X_2,\dots,X_n$ 是独立同分布（i.i.d.）的随机变量，服从 $\operatorname{BETA}(\theta,1)$ 分布
• 概率密度函数：$f(x\mid\theta)=\theta x^{\theta-1}$，其中 $x\in[0,1]$，$\theta>0$
• 似然函数：$L(\theta)=\prod_{i=1}^n \theta x_i^{\theta-1}$

2. 对数似然函数化简 #

首先对似然函数取对数得到对数似然函数，这是MLE推导里的常用技巧，它能把乘积运算转化为求和，大幅简化后续的求导计算：
$$
\begin{align*}
l(\theta) &= \ln\left(L(\theta)\right) \
&= \ln\left(\prod_{i=1}^n \theta x_i^{\theta-1}\right) \
&= \sum_{i=1}^n \ln\left(\theta x_i^{\theta-1}\right) \
&= \sum_{i=1}^n \left[\ln\theta + (\theta-1)\ln x_i\right] \
&= n\ln\theta + (\theta-1)\sum_{i=1}^n \ln x_i
\end{align*}
$$

3. 求驻点（一阶导数为0） #

接下来对对数似然函数关于 $\theta$ 求一阶导数，找到函数的驻点：
$$
\frac{dl(\theta)}{d\theta} = \frac{n}{\theta} + \sum_{i=1}^n \ln x_i
$$
令一阶导数等于0，解这个方程求 $\theta$：
$$
\frac{n}{\theta} + \sum_{i=1}^n \ln x_i = 0
$$
移项整理后可得：
$$
\frac{n}{\theta} = -\sum_{i=1}^n \ln x_i
$$
两边取倒数并乘以 $n$，就得到了估计量的表达式：
$$
\hat{\theta} = -\frac{n}{\sum_{i=1}^n \ln x_i}
$$

4. 验证极大值点（二阶导数检验） #

为了确认这个驻点是极大值点，我们求对数似然的二阶导数：
$$
\frac{d^{2l(\theta)}{d\theta}2} = -\frac{n}{\theta^2}
$$
因为 $\theta>0$，所以二阶导数的值恒为负，说明对数似然函数在 $\hat{\theta}$ 处是严格凹的，这个驻点确实是极大值点，也就是我们要找的MLE。

最终结论 #

θ的极大似然估计量为：
$$
\hat{\theta} = -\frac{n}{\sum_{i=1}^n \ln X_i}
$$
（这里把小写的 $x_i$ 换成大写 $X_i$，表示这是一个由样本构造的随机估计量）

内容的提问来源于stack exchange，提问作者EllipticalInitial