如何提取caret训练的elastic net最终模型中的非零系数

核心实现代码 #

直接用以下代码即可提取最优超参数对应的非零系数：

# 1. 提取最优lambda对应的系数矩阵，注意必须明确指定s参数传入lambda值
coef_matrix <- as.matrix(coef(model1$finalModel, s = model1$bestTune$lambda))
# 2. 整理为带特征名的数据框
coef_df <- data.frame(
  feature = rownames(coef_matrix),
  coefficient = coef_matrix[, 1],
  row.names = NULL
)
# 3. 筛选非零系数（加入1e-6的阈值避免浮点误差导致的假非零）
non_zero_coef <- coef_df[abs(coef_df$coefficient) > 1e-6, ]
# 如果不需要保留截距，可直接取non_zero_coef[-1, ]

之前代码出错的原因 #

• 第一次使用model1$bestTune$.lambda是错误写法：caret返回的最优超参数中lambda的字段名没有前缀点，传入不存在的参数值时，glmnet会默认返回所有测试过的lambda对应的系数组合，所以会得到全量系数排列表。
• 去掉点后得到全非零系数的两个常见原因：
  • 浮点精度误差：glmnet计算时会产生极小的浮点数值（如1e-10级别），本质属于被压缩为0的系数，通过1e-6阈值筛选即可排除。
  • 未自定义调参范围：caret默认训练glmnet时仅测试alpha=1（LASSO），且lambda搜索范围偏小，可能选到的最优lambda值过小，没有起到系数压缩的效果。如果需要做elastic net，需要手动指定alpha和lambda的调参网格，训练时传入tuneGrid参数即可：

  # 自定义调参网格示例，alpha覆盖0（岭回归）到1（LASSO）的区间
  tune_grid <- expand.grid(
    alpha = seq(0, 1, length.out = 10),
    lambda = exp(seq(-6, 2, length.out = 100))
  )
  # 训练时新增tuneGrid参数
  model1 = caret::train(formula,
                      data=training,
                      method="glmnet",
                      trControl=tr_control,
                      metric = "Accuracy",
                      family = "binomial",
                      tuneGrid = tune_grid)
  

内容的提问来源于stack exchange，提问作者JGW