逻辑回归极大似然估计（MLE）的一致性与渐近正态性条件

嘿，这是逻辑回归极大似然估计（MLE）满足一致性和渐近正态性的核心条件，都是大样本统计里的经典假设：

一致性（$\hat{\beta}_n \overset{p}\to \beta_0$）的条件 #

• 真实参数$\beta_0$位于参数空间的内部，不能在边界上。如果$\beta_0$在边界，MLE可能会收敛到边界点，没法保证一致。
• 样本${(X_i,Y_i)}_{i=1}^n$是*独立同分布（i.i.d.）*的。这是大样本理论的基础，保证大数定律能生效，让样本似然收敛到总体似然。
• 模型可识别：不存在其他参数$\beta \neq \beta_0$，使得对于所有$X$，都有$P(Y=1|X;\beta) = P(Y=1|X;\beta_0)$。简单说就是真实模型是唯一的，不会有两个不同参数生成完全一样的条件概率。
• 特征向量$X$的二阶矩存在且$\mathbb{E}[XX^T]$是正定矩阵。这保证了特征之间没有完全线性相关，也为后续的信息矩阵非奇异打下基础。

渐近正态性（$\sqrt{n}(\hat{\beta}_n - \beta_0) \overset{d}\to N(0, \mathcal{I}(\beta_0)^{-1})$）的额外条件 #

除了满足上面所有一致性条件外，还需要：

• Fisher信息矩阵$\mathcal{I}(\beta_0) = \mathbb{E}\left[ XX^T \cdot p_0(X)(1-p_0(X)) \right]$（其中$p_0(X)=P(Y=1|X;\beta_0)$）是*非奇异（正定）*的。这确保了渐近方差存在且可逆，是正态分布的前提。
• 对数似然函数的导数满足正则条件：比如在$\beta_0$的一个小邻域内，对数似然的一阶、二阶导数可以和期望交换顺序，且二阶导数的期望连续。这通常由$X$的矩足够有限（比如四阶矩存在）来保证。
• $X$的二阶矩$\mathbb{E}[||X||^2]$有限，保证Fisher信息矩阵的每个元素都是有限值。

另外补充一点：这些条件都是“充分条件”，不是必要条件——也就是说满足这些条件一定能得到一致性和渐近正态性，但可能存在一些更弱的条件也能达到同样结果，不过这些是最常用、最容易验证的经典假设。

内容的提问来源于stack exchange，提问作者3x89g2