使用fitdist拟合Gamma分布遇警告且与fitdistr结果差异的原因

一、Std. Error生成NaN警告的含义 #

这个警告说明拟合过程中无法计算出参数的有效标准误，核心原因集中在这几点：

• 信息矩阵奇异：Gamma分布参数的标准误依赖于似然函数的Hessian矩阵（或观测信息矩阵）的逆。当样本数据过度集中、存在极端值，或者参数估计落在参数空间边界时，矩阵会变得不可逆，逆矩阵计算结果为NaN。
• 拟合算法收敛不稳定：fitdist()默认用Nelder-Mead单纯形算法，若迭代过程中参数估计的梯度波动过大，无法得到稳定的Hessian矩阵，就会导致标准误计算失败。
• 数据不符合Gamma分布假设：Gamma分布要求数据严格大于0，如果数据包含0值，或者分布呈现多峰、严重偏态等不符合Gamma特征的形态，极大似然估计（MLE）无法找到稳定的参数解，连带标准误无法生成。

二、fitdist()与fitdistr()结果差异的原因 #

两个函数的拟合结果差异，本质是算法逻辑、参数化方式、收敛策略的不同：

• 优化算法与初始化差异：
  • MASS::fitdistr()默认采用BFGS优化算法，且针对Gamma分布会用矩估计结果作为初始值，算法在处理非凸似然函数时稳定性更强。
  • fitdistrplus::fitdist()默认用Nelder-Mead单纯形算法，若未手动指定初始值，默认初始化逻辑和fitdistr()不同，容易在参数空间中收敛到不同的局部最优解。
• Gamma分布参数化不一致：
  • Gamma分布有两种常用参数化：shape+scale（尺度参数）和shape+rate（速率参数，rate=1/scale）。fitdistr()默认用shape+rate，而fitdist()默认用shape+scale，参数化方式不同直接导致数值结果差异。
• 标准误计算逻辑不同：
  • fitdistr()默认用观测信息矩阵计算标准误，遇到矩阵奇异时会采用近似策略输出结果；而fitdist()直接依赖Hessian矩阵的逆，一旦矩阵奇异就输出NaN。
• 收敛准则不同：
  • 两个函数的迭代停止容差、最大迭代次数等收敛参数默认值不同，可能导致一个函数收敛到全局最优，另一个停在未完全收敛的局部解。

排查建议 #

• 检查样本数据：确认是否存在0值、极端异常值，或数据分布是否真的符合Gamma分布特征。
• 统一参数化：手动给fitdist()指定start参数，比如start=list(shape=1, rate=0.5)，和fitdistr()保持一致的参数定义，再对比结果。
• 更换优化算法：给fitdist()设置method="BFGS"，和fitdistr()使用相同的优化算法，验证结果是否趋同。
• 验证收敛性：查看两个拟合结果的对数似然值，似然值更高的结果通常更优；也可给fitdist()设置control=list(trace=TRUE)，观察迭代过程的参数变化。

内容的提问来源于stack exchange，提问作者Jinjin