CNN训练时训练与验证准确率恒定、高偏差高方差的优化方案问询

第一步：排查准确率恒定根因 #

• 检查标签映射匹配性：确认Deep Insight转换数据集时，原始缺陷特征的排列顺序、样本与标签的对应关系没有错位，抽检10个样本的原始标签和转换后图像的标注，排除全0/全1标签、标签乱序的低级错误
• 核对输出层与损失函数配置：二分类缺陷检测场景输出层需用Sigmoid激活搭配二元交叉熵损失，多分类场景用Softmax激活搭配分类交叉熵损失，避免激活函数和损失不匹配导致梯度无法更新
• 调整优化器参数：默认使用Adam优化器，初始学习率设为1e-4，避免学习率过大（>1e-3）导致梯度震荡、学习率过小（<1e-6）导致参数基本不更新的问题，跑3轮观测损失是否出现下降趋势

第二步：解决高偏差（欠拟合）问题 #

• 提升模型容量：增加2-3组卷积+池化层组合，卷积核数量从16逐步提升至128，所有卷积层后加入ReLU激活函数，保证模型有足够的特征拟合能力
• 加入批量归一化层：每一层卷积运算后都增加BatchNorm层，加速梯度流动同时提升模型对特征的学习效率
• 优化输入图像质量：调整Deep Insight转换参数，把输出图像分辨率从默认3232提升到6464或128*128，保留更多缺陷相关的特征信息

第三步：解决高方差（过拟合）问题 #

• 加入正则化手段：卷积层添加L2正则化（系数设为1e-4），全连接层加入Dropout层（丢弃率设为0.3-0.5），降低模型对训练集噪声的拟合度
• 做图像数据增强：对转换得到的缺陷图像做随机翻转、随机裁剪、轻微高斯噪声注入等操作，扩充训练集的特征分布
• 加入早停机制：训练时监控验证集损失，连续5轮没有下降就提前终止训练，避免模型过度拟合训练集特征

第四步：效果迭代调优 #

完成上述配置修改后先跑10轮训练，若训练集和验证集准确率同步上升，可继续调优卷积核数量、Dropout比例等参数；若训练集准确率能达到90%以上但验证集准确率偏低，可进一步提升数据增强强度、调大正则化系数；若两者准确率都偏低，可继续加深模型结构或优化Deep Insight的特征映射规则。

内容的提问来源于stack exchange，提问作者Rigved Alankar