YOLOv11校园垃圾分类模型实时检测精度异常问题求助

问题核心本质 #

训练/测试指标优异但实战表现拉胯，核心原因是训练数据与真实校园场景的分布不匹配，加上小样本类别泛化能力不足，标注质量可能存在疏漏。

数据集优化 #

1. 补全样本与分布修正 #

从数据统计看，多个类别样本量严重不足（straw仅47个、plasticcup74个），部分中等样本量的类别（can）还出现幻觉检测，针对性优化：

• 无法检测的类别（mask、milkcarton、straw、bag）：
  • 优先采集校园真实场景样本：重点拍摄投放瞬间的角度、垃圾桶旁的光照（室内灯光/室外自然光）、多垃圾堆叠遮挡的情况
  • 现有样本做针对性增强：用YOLO自带增强工具或albumentations，给小目标（straw）加缩放、旋转，给mask加亮度调整、噪声，模拟真实场景干扰
• 幻觉检测的can类：
  • 排查训练集标注：是否把保温杯、圆柱形文具这类相似物体错误标成can
  • 补充负样本：采集校园内和can外形相似的非垃圾物体，不标注或标注为背景，让模型学会区分

2. 标注质量核查 #

自行标注容易出现细节问题，直接影响模型泛化：

• 检查标注框精度：比如cutlery是否只框住餐具本身，有没有把桌面、垃圾桶边缘也框进去；straw这类小目标是否完整覆盖
• 检查类别混淆：是否存在plasticcup和plasticbottle标混、mask和bag标混的情况
• 对比测试集与真实场景：如果测试集都是清晰单一目标，而真实场景是多目标复杂背景，立刻把真实场景的难样本加入训练/验证集

3. 对齐场景分布 #

你的数据来自Kaggle和自行拍摄，两者场景差异极大：

• Kaggle数据多为规整实验室场景，校园真实场景是杂乱的垃圾桶旁、多变光照
• 把自行拍摄的真实场景数据占比提升至60%以上，确保训练数据和实战场景高度匹配

训练与推理策略调整 #

1. 训练策略优化 #

• 不要固定50-150轮训练，看验证集mAP/F1变化，连续10轮无提升就停止，避免过拟合
• 小样本类别用迁移学习+分层训练：先冻结YOLOv11的backbone，用1e-4的小学习率训练50轮，再解冻全层用1e-5的学习率继续训练，让模型先学习通用特征再适配小样本
• 调整损失权重：给小样本类别设置更高的损失权重，强制模型关注这些类别

2. 推理参数调优 #

实时检测的参数和测试阶段可能不同，针对性调整：

• 提高conf阈值：从默认0.25调到0.5，过滤低置信度的幻觉检测（比如can的错误检测）
• 开启多尺度推理：用--img-size 640,800让模型适应不同大小的目标，提升小样本检测率
• 调整NMS的iou阈值：如果多目标检测漏检，适当降低iou阈值（比如从0.7调到0.5），避免过度抑制

3. 后处理逻辑补充 #

针对多目标检测问题，添加简单后处理：

• 对小目标检测结果单独做置信度筛选，避免被大目标的NMS抑制
• 针对校园场景，预设目标大小范围（比如straw的宽度不会超过50像素），过滤不符合的错误检测

验证方法修正 #

别只依赖原有测试集的指标，立刻构建真实校园场景测试集，用这个测试集的mAP、F1来评估模型，才能反映实战性能。

内容的提问来源于stack exchange，提问作者CodingMcQueen