泊松GLM反向选择结果与完整模型一致问题咨询

• 因子水平未展示属于R的默认编码规则，不是模型错误：R拟合线性模型、广义线性模型时会自动将因子的第一个水平设为参考基线，不会单独输出基线水平的系数，其余水平的系数代表该组和基线组的效应差值。你提到的Treatment的1.1水平、Period的其中一个水平未展示，说明这两个就是对应因子的参考组，属于正常输出逻辑。
• 零偏差与残差偏差差值过大、系数标准误极高、反向逐步选择完全不剔除变量三个问题同源，核心是模型存在准完全分离或严重多重共线性，泊松回归的极大似然估计对这类问题敏感度极高：
  • 准完全分离指部分预测变量的组合可以完美匹配响应变量的取值，会导致系数估计趋向无穷大，标准误被异常拉高
  • 严重多重共线性指预测变量之间存在极强的线性相关关系，此时单个变量的偏回归系数估计极不稳定，标准误会成倍膨胀，变量的偏贡献无法被准确估计，AIC计算结果完全失真
• 注意：零偏差是空模型（仅含截距）的偏差，残差偏差是当前拟合模型的偏差，二者差值大本身在模型拟合良好时是正常现象，但结合极高标准误的特征，这个差值属于估计失真带来的虚假结果，不代表模型实际解释力很强。

R内置step()函数的反向选择逻辑是：每轮迭代逐一尝试剔除模型中的单个变量，计算剔除后模型的AIC值，仅当剔除某变量后AIC低于当前模型AIC时，才会执行剔除操作，直到没有变量可以进一步降低AIC为止。

当模型存在严重共线性或准完全分离问题时，每个变量都会对模型AIC产生虚假的“贡献”——哪怕变量本身没有实际预测效力，剔除它也会破坏共线性结构导致AIC异常飙升，因此step函数会判定所有变量都需要保留，最终返回和初始全模型完全一致的结果。

• 先完成基础诊断，排除低级错误和结构性问题
  1. 先验证变量编码正确性：运行str(dfglm)检查Period、Treatment的变量类型确实为因子型，没有被错误识别为数值型——如果Treatment被误设为数值型，不会输出多水平的哑变量系数，也会严重干扰系数估计结果
  2. 共线性检验：运行car::vif(glm2)计算各变量的方差膨胀因子，通常VIF值大于10即存在严重多重共线性，优先剔除VIF最高、实际研究意义最弱的变量
  3. 分离问题排查：逐个查看预测变量和计数响应变量的交叉分布，确认是否存在某因子水平下响应变量取值完全固定、无变异的情况，这类样本量过少的因子水平需要提前合并
• 替换不可靠的普通逐步回归，选择适配泊松数据、抗共线性的筛选方法
  1. 优先使用泊松LASSO回归做变量筛选：通过glmnet包实现，L1正则化会自动将效应弱、共线性强的变量系数压缩为0，直接完成变量筛选，不受普通极大似然估计下标准误膨胀的干扰，参考代码：

     library(glmnet)
     # 构建预测变量矩阵，自动生成因子哑变量，剔除截距项
     x <- model.matrix(~ Salinity + Period + Intensity + Depth + Temp + Treatment, data = dfglm)[,-1]
     y <- dfglm$count
     # 交叉验证选择最优正则化参数
     cv_lasso <- cv.glmnet(x, y, family = "poisson", alpha = 1)
     # 提取最优参数下的非零系数，对应筛选后保留的变量
     coef(cv_lasso, s = "lambda.min")
     

  2. 如果要继续使用基于AIC的逐步选择，先手动剔除高VIF变量、合并样本量不足的因子水平，等模型系数标准误回到合理区间（标准误不超过系数绝对值的2~3倍）后，再运行step()函数，此时得到的变量剔除结果才具备参考性
• 泊松模型额外校验：如果模型残差偏差远大于残差自由度，说明数据存在过离散问题，可替换为拟泊松回归或负二项回归，避免标准误估计失真。

内容的提问来源于stack exchange，提问作者Laura Schefold