数值近似极大似然估计（MLE）解与真实MLE解的距离对MLE理论性质适用性的影响探究

阿华AIGC实验室

2026-4-21

我最近在思考一个问题：当我们远离导数为0的点（也就是真实MLE解）时，函数的性质会发生怎样的变化？为了把问题说清楚，我把它拆成三个部分来展开：

一、问题背景铺垫

1.1 泊松分布的MLE推导

假设我们取泊松概率分布：
$$
P(X=k;\lambda) = \frac{\lambda^k e^{-\lambda}}{k!}
$$
我们可以定义似然函数为：
$$
L(\lambda; x) = \prod_{i=1}^{n} P(X_i=k_i;\lambda) = \prod_{i=1}^{n} \frac{\lambda^{k_i} e^{-\lambda}}{k_i!}
$$
取对数得到对数似然函数：
$$
l(\lambda; x) = \ln L(\lambda; x) = \sum_{i=1}^{n} [k_i \ln \lambda - \lambda - \ln (k_i!)]
$$
为了找到MLE，我们对对数似然函数关于$\lambda$求导，令导数为0并求解：
$$
\frac{dl}{d\lambda} = \sum_{i=1}^{n} [ \frac{k_i}{\lambda} - 1] = 0
$$
最终得到$\lambda$的MLE：
$$
\hat{\lambda}{\text{MLE}} = \frac{1}{n} \sum{i=1}^{n} k_i
$$

1.2 MLE的经典理论性质

推导完泊松分布的MLE后，我们可以应用MLE理论的几个“实用”性质：

一致性：当样本量趋近于无穷大时，MLE的样本值会趋近于真实参数值
渐近正态性：随着样本量趋近于无穷大，MLE的分布会趋近于正态分布
有效性（基于克拉美-罗下界）：在所有同类估计量中，MLE的方差是最小的
不变性：如果$\hat{\lambda}{\text{MLE}}$是$\lambda$的MLE，那么$g(\hat{\lambda}{\text{MLE}})$就是$g(\lambda)$的MLE

1.3 数值近似MLE的现实挑战

上面的例子中，MLE有闭合的解析解，但在实际问题中，似然函数往往是高维的，导数只能通过数值方法近似求解。这就意味着，我们得到的数值近似MLE解很可能不是真实的MLE解，而上面提到的那些“好用的理论性质”，可能无法完全适用于这些数值近似解。

二、我的核心疑问与模拟验证

2.1 核心问题

我想知道：当数值近似MLE解离真实MLE解越来越远时，这些理论性质的适用程度会发生怎样的变化？

2.2 模拟实验（R语言）

为了直观理解这个问题，我用R语言做了一个模拟：生成100个来自$\lambda=5$的泊松分布的样本，计算对数似然函数和MLE估计值，然后画出对数似然函数的曲线，同时标记真实MLE解（$\lambda=5$）、估计得到的MLE值，以及两个随机候选解。

# 设置随机种子保证可复现
set.seed(123)

# 生成100个来自lambda=5的泊松分布样本
data <- rpois(100, 5)

# 用MLE估计lambda（即样本均值）
lambda_mle <- mean(data)

# 定义对数似然函数
log_likelihood <- function(lambda) {
  sum(dpois(data, lambda, log = TRUE))
}

# 生成lambda的取值序列
lambda_values <- seq(5, 5.5, by = 0.01)

# 计算每个lambda对应的对数似然值（绘图代码省略，需要的话可以补充）
log_likelihood_values <- sapply(lambda_values, log_likelihood)