医学死亡率预测：RF、GLM、XGBoost性能相近时如何选择？

研究背景 #

基于1500名患者（每人含60+参数）的数据集，针对1、3、6、12个月死亡率的二分类预测问题开展研究：

• 采用70%训练/30%测试的分层拆分划分数据集
• 通过Boruta算法完成特征选择
• 训练了Random Forest（RF）、GLM、XGBoost三类模型
• 初步性能：所有模型AUC约0.8（RF略优）；RF的Brier分数为0.09-0.17，GLM与XGBoost为0.13-0.23

疑问1：是否需要补充更多性能指标？哪些及原因？ #

需要补充，建议加入以下覆盖不同维度的指标，匹配临床场景的实际需求：

• 校准类指标
  • 校准曲线：直观展示预测概率与实际事件发生率的匹配程度。临床中医师需要的是准确的风险概率值（比如患者有20%还是50%的死亡风险），而非仅知道风险排序，这类指标能直接反映模型概率预测的可靠性。RF这类树模型天生容易出现校准偏差，GLM则校准性较好，对比两者的校准曲线能明确各自的短板与优势。
  • 校准斜率与截距：量化校准程度，斜率接近1、截距接近0说明模型校准良好，便于快速对比不同模型的校准精度。
• 分类阈值相关指标
  • 精确率、召回率、特异度：AUC是阈值无关指标，但临床决策有明确的阈值需求——比如筛选高危患者干预时，高召回率更重要；要减少过度医疗时，精确率是核心。这些指标能体现模型在特定临床场景下的实用性。
  • F1分数：综合精确率与召回率，适合死亡率这类不平衡数据集的性能对比。
  • 混淆矩阵：直观展示真阳性、假阳性、真阴性、假阴性的数量，帮助理解模型的误判类型——假阳性过多会导致过度医疗，假阴性过多则可能遗漏高危患者，这对临床决策至关重要。
• 临床决策价值指标
  • 决策曲线分析（DCA）：评估模型在不同阈值下的净获益，直接反映模型对临床决策的实际价值。比如对比模型与“全部干预”“不干预”策略的净获益，判断模型是否能真正帮助医师做出更优决策，这比单纯的统计性能指标更具临床意义。

疑问2：如何解读当前结果？ #

• GLM表现良好，确实说明核心预测因子与死亡率之间存在可被线性模型捕捉的关联，但不代表没有非线性关联——可能是线性部分已经解释了大部分变异，或是非线性关联被特征选择步骤过滤掉。此外，GLM的核心优势是可解释性强，能直接给出每个预测因子的回归系数，便于医师理解“哪些因素会增加死亡风险，程度如何”。
• RF性能略优但模型复杂，说明数据中存在非线性关联或交互作用，RF能捕捉到这些信息，因此在排序和概率准确性上略胜一筹。但RF的可解释性差，无法直接给出明确的因子效应，这在临床场景中可能成为信任障碍——医师需要知道“为什么这个患者被判定为高风险”才能放心使用模型。
• 三类模型AUC差距不大，说明在风险排序能力上没有本质区别，真正的差异体现在概率校准和临床实用性上（比如Brier分数反映的概率准确性）。

外部验证与模型优势体现建议 #

1. 外部验证重点指标
   • 除AUC、Brier分数外，优先关注校准性能（校准曲线、斜率/截距）：外部数据分布可能与训练集存在差异，模型校准性容易下降，这是临床模型落地的关键障碍。
   • 加入稳定性指标：比如RF/XGBoost的特征重要性在外部集中是否与训练集一致，判断模型的鲁棒性。
2. 突出各模型优势的策略
   • GLM：强调其可解释性（回归系数的临床意义）、计算效率（训练和预测速度快）、校准稳定性（在不同人群中校准性更易保持），适合需要透明解释、快速部署的场景。
   • RF：突出其捕捉非线性/交互作用的能力、对异常值和缺失值的鲁棒性，适合数据存在复杂关联的场景，可作为GLM的补充工具。
   • XGBoost：关注其兼顾性能与效率的特点，通过调参可能进一步缩小与RF的性能差距，且支持SHAP值等可解释性方法，能平衡性能与解释性需求。
3. 额外建议
   • 尝试模型融合：比如将GLM的校准优势与RF/XGBoost的预测优势结合，通过堆叠或校准后的RF模型提升整体性能。
   • 分时间点分析性能差异：短期死亡率可能线性关联更强，GLM表现更好；长期死亡率可能存在更多非线性因素，RF/XGBoost的优势会更明显。

内容的提问来源于stack exchange，提问作者mmo