基于随机森林与神经网络的不平衡数据集建模性能问题求助

• 排查时序数据分布漂移
  计算开发样本（dev）与时序外样本（OOT）的特征分布差异，用PSI（群体稳定性指标）或KS检验逐个特征对比，重点关注和正类强相关的特征——性能跳水大多源于OOT数据的核心特征分布和dev集已发生偏移，比如业务规则变更、用户行为随时间迁移。
• 针对不平衡数据调整模型策略
  • 随机森林：
    • 训练时给正类样本设置更高权重，用class_weight='balanced'或根据样本比例自定义权重，避免模型偏向多数负类。
    • 调整OOB评估逻辑，别只看整体准确率，改用正类召回率、F1-score这类指标，避免OOB分数看似正常但正类识别率极低的问题被掩盖。
    • 筛选出在dev和OOT中分布稳定、且对正类区分度高的特征，移除随时间漂移的特征。
  • 神经网络：
    • 用Focal Loss替代交叉熵损失，降低大量易分类负样本的权重，迫使模型聚焦正类和难分类样本。
    • 采样需遵循时序逻辑，不要随意用SMOTE打乱时间顺序，比如仅在同一时间窗口内复制正类样本做过采样，或对负类执行时序感知的欠采样。
    • 加入时间维度的正则项，约束模型对不同时间步特征变化的敏感度，增强抗漂移能力。
• 修正训练/验证的时序逻辑
  放弃随机划分的dev集，改用滚动时序验证——用过去N段时间的数据训练，紧接着的M段时间做验证，让dev集的时间分布与OOT完全对齐，这样调优出的参数才适配真实时序场景。另外，给模型添加显式时间特征，比如月份、节假日标记，让模型学习时间维度的规律变化。
• 更换适配的评估指标
  别紧盯整体准确率，重点关注正类的召回率、F1-score、AUC-PR（比AUC-ROC更适合不平衡数据）。评估OOT样本时，分层统计正类和负类的表现，明确是正类完全无法识别，还是整个模型失效。
• 增强模型鲁棒性
  • 尝试增量学习，定期用最新的OOT数据微调模型，让模型跟随数据分布变化更新。
  • 融合RF和NN的优势，比如用RF先筛选核心特征再输入NN训练，或用堆叠模型整合两者的预测结果，互补短板。

内容的提问来源于stack exchange，提问作者Amit Kumar