如何不使用数据增强与过采样,用Keras+ResNet50训练不平衡ISIC2019二分类数据
适配你实验约束的可落地训练方案
(以下所有方案完全不涉及数据增强、过采样操作,匹配你的实验要求)
首先修正现有代码的基础问题
- 既然明确不使用数据增强,直接删掉
train_datagen里所有和图像变换相关的参数(rotation_range、width_shift_range、height_shift_range、zoom_range、horizontal_flip、fill_mode),训练集的预处理逻辑保持和验证集、测试集完全一致,只保留preprocessing_function=preprocess_input的标准化操作。 - 你目前直接全网络解冻训练ResNet50的方式,非常容易让模型优先拟合占比更高的良性样本特征——毕竟16k多的良性样本占了总训练量的82%,全层开训时随机初始化的分类头会快速把梯度往多数类的方向调整,最后直接表现为恶性类别精确率极低。
核心不平衡解法(完全不动数据集)
这是不需要过采样、不需要数据增强就能快速拉高低少数类精确率的最有效手段:在损失计算环节加入类权重。
- 直接根据你现有的训练集样本量计算权重值:
- 良性类权重 = 总训练样本数 / (2 * 良性样本数) ≈ 0.61
- 恶性类权重 = 总训练样本数 / (2 * 恶性样本数) ≈ 2.79
- 把这两个权重值通过
class_weight参数传入model.fit()接口即可,逻辑是:模型每错判1个恶性样本带来的损失,是错判1个良性样本的4.6倍,从根本上改变模型为了最小化损失而偏向多数类的决策逻辑,完全不需要对原始图像做任何调整、也不需要重复采样少数类样本。
你正在尝试的学习率衰减的正确搭配方式
单独调学习率衰减没效果,是因为没有和分层迁移学习的训练节奏匹配,按下面的节奏配就能见效:
- 第一阶段(共10-15轮):卷积基全冻结
把ResNet50所有卷积层的trainable属性设为False,只训练新加的分类头(池化层、输出层),初始学习率设为1e-3,搭配ReduceLROnPlateau回调:监控验证集损失,连续3轮不下降就把学习率乘以0.5,最低降到1e-6停止调整。这阶段的目标是把分类头的参数调整到合理区间,避免随机初始化的权重给卷积基传入混乱梯度,冲掉预训练的ImageNet通用特征。 - 第二阶段(共30-35轮):解冻高层卷积块
只解冻ResNet50最后1/3的卷积块,前面的低层卷积保持冻结状态,初始学习率设为1e-5,同样用ReduceLROnPlateau回调,这次改为监控验证集的精确率指标,连续2轮没有上升就把学习率降为原来的一半,避免学习率过高扰动预训练特征。
- 顺便修正你现在的模型保存逻辑:把
ModelCheckpoint的监控指标改成val_precision,开启save_best_only=True,避免训完50轮存下已经过拟合的最后一轮模型。
零成本的结构细节优化
- 把现在用的
GlobalMaxPooling2D替换为GlobalAveragePooling2D,对皮肤镜这类纹理复杂、病变尺度不统一的图像,平均池化的特征稳定性远好于最大池化,不会因为单个局部像素的强响应就带偏全局特征判断。 - 在输出的sigmoid层前面加一层轻量正则的全连接层:
Dense(256, activation='relu', kernel_regularizer=keras.regularizers.l2(1e-4)),不需要额外加dropout,就能降低模型死记硬背良性样本特征的概率。 - 把验证集、测试集的
shuffle参数设为False,固定评估时的样本顺序,避免每次算出的评估指标随机波动。
内容的提问来源于stack exchange,提问作者Saruman
相关产品推荐
相关产品推荐

