自定义目标检测模型训练时损失无明显下降的问题排查与解决

在Kaggle平台使用PyTorch开展文本检测项目，目标是识别交通标志、文档等日常物体中的文本。项目基于EAST模型架构实现自定义模型，以ResNet作为backbone，但训练过程中损失值未出现明显下降，训练输出片段如下：

...
Epoch 28/30
Training: |####################| 005/005 [100.00%] in 0.0s (1746419.0/s, ETA: 0.0s) (loss: 53.674442291259766)
Validation: |####################| 003/003 [100.00%] in 0.0s (731885.0/s, ETA: 0.0s) (loss: 52.65853627522787)
Epoch 29/30
Training: |####################| 005/005 [100.00%] in 0.0s (1104972.0/s, ETA: 0.0s) (loss: 54.1553955078125)
Validation: |####################| 003/003 [100.00%] in 0.0s (950871.0/s, ETA: 0.0s) (loss: 52.0231081644694)
Epoch 30/30
Training: |####################| 005/005 [100.00%] in 0.0s (1353912.0/s, ETA: 0.0s) (loss: 53.528507232666016)
Validation: |####################| 003/003 [100.00%] in 0.0s (1148105.0/s, ETA: 0.0s) (loss: 51.57835261027018)

已尝试调整学习率、修改batch size、微调模型结构等操作，但均未取得明显效果。已拆分检测任务并返回张量用于自定义损失类计算，同时实现了TLR模型、TLRLoss损失函数及Trainer训练器。现需明确：

1. 导致损失停滞的原因是什么？
2. 有哪些训练优化策略？
3. 可用于定位根因的具体调试步骤或训练循环修改方案？

可能的损失停滞原因 #

• 损失函数逻辑错误：TLRLoss的子损失权重分配失衡、标签与模型输出维度不匹配、正负样本采样失效。比如EAST模型的损失包含文本分类损失和框回归损失，若某部分损失占比过高或计算逻辑错误，会导致模型无法有效学习。
• 数据预处理偏差：输入图像与标签未同步变换（如缩放、裁剪时标签未对应调整）、标签格式转换错误（如EAST要求的四边形坐标格式出错）、数据增强破坏文本区域完整性，导致模型无法捕捉有效特征。
• 模型初始化与连接问题：ResNet backbone未加载预训练权重（使用随机初始化）、冻结层数过多导致特征提取能力不足；自定义TLR模型头部与backbone的特征传递逻辑错误，特征无法有效流入预测层。
• 训练循环逻辑漏洞：梯度未正确反向传播（如遗漏loss.backward()）、优化器更新前未清零梯度（遗漏optimizer.zero_grad()）；混合精度训练时梯度溢出或精度丢失；训练数据量过小（每个epoch仅5个训练batch），模型无法充分拟合数据分布。

训练优化策略 #

• 损失函数调优：拆分TLRLoss的分类、回归子损失，分别监控数值变化，调整权重比例；用Focal Loss替代普通交叉熵作为分类损失，降低易分类样本的权重；回归损失改用Smooth L1 Loss，减少异常值对训练的干扰。
• 数据层面优化：补充训练数据量，或采用针对性数据增强（如随机缩放、亮度调整，需保证文本区域可识别）；修正预处理流程，确保图像与标签严格对齐；对标签坐标做0-1归一化，避免数值范围过大引发梯度爆炸。
• 模型与训练配置调整：加载ResNet的ImageNet预训练权重，仅冻结前几层，让后几层参与训练；改用余弦退火或阶梯式学习率策略，替代固定学习率；硬件允许时增大batch size，或用梯度累积模拟大batch，提升梯度稳定性；先关闭Dropout、Weight Decay等正则化，让模型先拟合数据，再逐步加入防止过拟合。
• 训练循环优化：添加梯度裁剪，避免梯度爆炸；增加训练轮数，小数据场景下适当延长训练周期观察损失变化。

调试与训练循环修改方案 #

• 分步验证损失计算：在训练循环中单独打印TLRLoss的各子损失数值，判断是否存在某部分损失异常偏高或无变化；手动构造单张带文本的样本，输入模型计算损失，验证损失逻辑是否符合预期。
• 可视化模型输出：训练过程中随机选取样本，可视化模型预测框与真实标签的对比，判断模型是完全未学习到特征，还是部分学习但无法收敛。
• 梯度检查：在训练循环中添加梯度监控代码，打印关键层的梯度均值和标准差，判断是否存在梯度消失或爆炸：

for name, param in model.named_parameters():
    if param.requires_grad:
        print(f"{name}: grad mean={param.grad.mean():.6f}, grad std={param.grad.std():.6f}")

• 简化流程测试：先用ResNet+简单分类回归头的轻量化模型，验证训练流程是否能正常收敛；用小批量数据做过拟合测试，若小批量也无法收敛，说明损失函数或训练循环存在根本性错误；若小批量能收敛，再逐步恢复原模型和全量数据。
• 增强训练日志：记录每个batch的损失值，而非仅epoch平均损失，观察batch间损失波动情况；打印每轮的学习率数值，确认学习率策略是否生效。

内容的提问来源于stack exchange，提问作者ApaxPhoenix