基于caret、glmnet构建结合专家意见的逻辑回归及交叉验证方案
二分类高AUC逻辑回归模型构建与交叉验证选型
模型构建技术路径
- 使用弹性网络模型(
glmnet)筛选有效预测变量,同步完成超参数alpha与lambda的寻优。 - 将弹性网络模型输出的线性组合结果,与额外预测变量(资深专家意见变量
superdoc)共同纳入逻辑回归模型(即finalmodel),实现方法参考Afshar等人2019年发表于《IEEE Signal Processing Magazine》的文献《From Handcrafted to Deep-Learning-Based Cancer Radiomics: Challenges and Opportunities》第26页内容。
数据集划分规则
本次使用的示例数据来自mlbench包的PimaIndiansDiabetes数据集,包含大量数值型预测变量与二分类结局变量diabetes(取值为pos/neg);人工生成superdoc变量后,将数据集按顺序拆分:前550条作为训练集train.data,剩余218条作为测试集test.data。
已完成实验与初始疑问
基于train.data(已剔除superdoc字段),使用caret包的train函数训练glmnet模型,采用10折交叉验证,以ROC(即AUC)为模型优化指标;提取最优alpha与lambda对应的模型系数,结合superdoc变量构建最终的二项逻辑回归模型finalmodel,在测试集上测得AUC为0.9345。
初始疑问:为提升模型准确率、避免过拟合,最初计划使用嵌套交叉验证,但不确定具体实现方式;且不同随机种子(set.seed)会导致筛选出的预测变量、最终测试AUC出现波动,不清楚是否可通过合理使用嵌套交叉验证缓解该问题。
问题验证与最终选型
经学习确认,嵌套交叉验证无法帮助得到更优的最终模型,本次遇到的核心问题是不同随机种子下模型系数波动较大;经测试,采用10折、重复10次的重复交叉验证(repeatedcv)即可解决该波动问题,无需使用嵌套交叉验证。
内容的提问来源于stack exchange,提问作者ava
相关产品推荐
相关产品推荐

