多参数极大似然估计求解及特定指数分布下θ与λ_i的MLE计算问询

嘿，我来一步步帮你搞定这个多参数极大似然估计（MLE）的问题～ 先从通用求解思路说起，再针对性处理你给出的指数分布样本案例。

多参数MLE的核心是利用样本信息最大化似然函数，通常步骤如下：

• 第一步：构造似然函数：因为样本独立，似然函数是所有样本概率密度（或质量）函数的乘积；为了简化计算，我们通常取对数得到对数似然函数（对数是单调递增函数，不会改变极值点的位置）。
• 第二步：求偏导并建立似然方程：对每个待估参数求对数似然函数的偏导数，令偏导数等于0，得到一组联立方程（似然方程组）。
• 第三步：求解似然方程组：解这组方程得到参数的MLE估计值；如果是隐式方程，可能需要数值方法求解。
• 第四步（可选验证）：通过二阶偏导数或Hessian矩阵的负定性，确认解对应的是极大值点（对于指数分布这类常见模型，通常无需额外验证，因为似然函数是凹函数）。

针对给定指数分布样本的MLE求解 #

已知我们有独立样本：

• $X_1,\dots,X_n$：每个$X_i$服从指数分布，概率密度为$f_i(x)= \lambda_i\theta \exp(-\lambda_i \theta x)$（$x\geq0$）
• $Y_1,\dots,Y_n$：每个$Y_i$服从指数分布，概率密度为$g_i(x) = \lambda_i \exp(-\lambda_i x)$（$x\geq0$）
  所有样本相互独立，我们需要估计$\theta$和每个$\lambda_i$（$i=1,\dots,n$）的MLE。

1. 构造对数似然函数 #

首先写出似然函数$L(\theta, \lambda_1,\dots,\lambda_n)$，它是所有样本密度的乘积：
$$
L = \prod_{i=1}^n f_i(X_i) \times \prod_{i=1}^n g_i(Y_i)
$$
代入给定的密度函数：
$$
L = \prod_{i=1}^n \left[ \lambda_i\theta \exp(-\lambda_i\theta X_i) \right] \times \prod_{i=1}^n \left[ \lambda_i \exp(-\lambda_i Y_i) \right]
$$

取对数得到对数似然函数$\ell = \ln L$（乘法变加法，指数变乘法，大幅简化计算）：
$$
\ell = \sum_{i=1}^n \left( \ln\lambda_i + \ln\theta - \lambda_i\theta X_i \right) + \sum_{i=1}^n \left( \ln\lambda_i - \lambda_i Y_i \right)
$$

整理一下各项：
$$
\ell = n\ln\theta + 2\sum_{i=1}^n \ln\lambda_i - \theta\sum_{i=1}^n \lambda_i X_i - \sum_{i=1}^n \lambda_i Y_i
$$

2. 求偏导并建立似然方程 #

求解$\theta$的MLE

对$\theta$求偏导数，令其等于0：
$$
\frac{\partial \ell}{\partial \theta} = \frac{n}{\theta} - \sum_{i=1}^n \lambda_i X_i = 0
$$
整理后得到：
$$
\hat{\theta} = \frac{n}{\sum_{i=1}^n \hat{\lambda}_i X_i} \tag{1}
$$
这里$\hat{\theta}$和$\hat{\lambda}_i$相互依赖，需要先解出$\lambda_i$的估计。

求解每个$\lambda_i$的MLE

对任意一个$\lambda_j$（$j=1,\dots,n$）求偏导数，令其等于0：
$$
\frac{\partial \ell}{\partial \lambda_j} = \frac{2}{\lambda_j} - \theta X_j - Y_j = 0
$$
解这个方程直接得到$\lambda_j$的估计表达式：
$$
\hat{\lambda}_j = \frac{2}{\hat{\theta} X_j + Y_j} \tag{2}
$$

3. 联立方程求解最终估计 #

把（2）代入（1），消去$\hat{\lambda}i$，得到关于$\hat{\theta}$的方程：
$$
\hat{\theta} = \frac{n}{\sum{i=1}^n \left( \frac{2X_i}{\hat{\theta} X_i + Y_i} \right)}
$$
交叉相乘后整理为：
$$
\hat{\theta} \times \sum_{i=1}^n \frac{2X_i}{\hat{\theta} X_i + Y_i} = n
$$

这个方程是关于$\theta$的单调递减函数（当$\theta$增大时，分母$\theta X_i + Y_i$增大，每一项$\frac{2X_i}{\theta X_i + Y_i}$减小，求和结果减小，左边整体单调递减），且：

• 当$\theta \to 0^+$时，左边$\to 0$
• 当$\theta \to +\infty$时，左边$\to 2n$

因为$n < 2n$，所以方程存在唯一正解，这个解就是$\theta$的MLE$\hat{\theta}$。通常需要用数值方法（比如牛顿迭代法）求解这个隐式方程。

得到$\hat{\theta}$后，代入（2）即可得到每个$\lambda_i$的MLE：
$$
\hat{\lambda}_i = \frac{2}{\hat{\theta} X_i + Y_i}
$$

内容的提问来源于stack exchange，提问作者MGF01