二分类任务遇到极端数据不平衡问题该如何处理？

1 调整数据划分策略 #

现有7:3分层划分会导致测试集仅存1个少数类样本，完全无法支撑有效评估，改用少数类留一交叉验证：

• 基于仅有的3条标签为0的样本做3折交叉验证，每轮固定留1条0样本作为测试集的少数类样本
• 每轮测试集的多数类样本按原始比例从所有标签为1的样本中抽取，剩余所有样本作为训练集
• 最终取3折交叉验证的平均指标作为最终评估结果，避免单轮测试集的随机性干扰

2 优化采样/类别权重方案 #

现有SMOTE过采样方案完全基于2条原始少数类样本生成大量假样本，必然会导致严重过拟合，可替换为以下任意一种更稳妥的方案：

• 方案1（优先推荐）：放弃采样操作，训练时直接设置类别权重，将标签0的损失权重设为训练集多数类样本数/训练集少数类样本数，让模型自动提高对少数类错分的惩罚成本，不会引入合成假样本的噪声
• 方案2：控制采样比例，仅对训练集少数类样本做轻量增强，比如对原始少数类样本加符合组学表达波动范围的高斯噪声生成5-10条新样本即可，不要强行拉平类别比例；同时对多数类做欠采样，把训练集多数类样本数控制在少数类的5-10倍以内，避免多数类信号淹没少数类特征

3 模型选型适配小样本场景 #

不要使用复杂度高的模型（如深度神经网络、高深度GBDT等），优先选择正则化能力强的轻量模型：

• 带L1正则的逻辑回归
• 极端随机树/小深度随机森林
• 直接切换为异常检测思路：训练时仅输入标签为1的样本学习患癌样本的分布规律，把标签为0的正常组织作为异常值检测，可选用孤立森林、One-Class SVM等模型，完全规避少数类样本量不足的问题

4 更换有效评估指标 #

绝对不能使用准确率作为评估标准，全部替换为以下适配不平衡数据集的指标：

• 少数类召回率：衡量模型识别出正常组织的能力
• 少数类精确率：衡量模型预测为正常组织的结果中真实为正常的比例
• F1分数：召回率和精确率的调和平均值
• AUC-PR：精度-召回曲线下面积，比AUC-ROC更适合极端不平衡场景的效果评估

内容的提问来源于stack exchange，提问作者Ji Tong Lin