手部关键点坐标检测神经网络训练不收敛问题求助

根因判断 #

你当前模型输出为统一的平均关键点，本质是模型完全没有学到图像内容到关键点坐标的映射关系，处于严重欠拟合状态，问题同时出在数据、模型架构、训练逻辑三个层面，可按以下优先级调整：

数据侧调整 #

• 优先校验标注与预处理逻辑：抽取至少10%的样本，把标注点回画到原图上确认正确性，重点检查：resize图像时是否同步调整了关键点坐标、左右手标注是否混淆、坐标归一化计算是否正确，你提到简化到单关键点预测都不准确，90%的概率是标注或预处理环节存在逻辑错误。
• 补充数据集规模：3000张样本支撑68个坐标的回归任务严重不足，优先补充标注到至少1万张，或直接使用公开手部关键点数据集做预训练，再用自有数据微调。
• 增加手部前置裁剪：不要直接输入整图训练，先训练一个轻量的手部检测模型，把图像中的双手区域裁剪出来后再送入关键点检测模型，大幅降低背景干扰。
• 适配关键点的数据增强：做旋转、缩放、平移、翻转等增强操作时，必须同步变换对应的关键点坐标，翻转操作要注意同步交换左右手的标注顺序。

模型架构调整 #

• 放弃直接回归坐标的普通CNN架构：换成专门的关键点检测方案，优先使用热图回归：让模型输出每个关键点对应的概率热图，再从热图中取最大值坐标作为输出，收敛速度和精度比直接回归坐标高4倍以上，可选用HRNet、U-Net这类对空间位置建模能力更强的backbone。
• 修正VGG微调逻辑：如果继续用VGG，不要完全冻结所有卷积层，解冻最后2-3个卷积块和头部全连接层一起训练，卷积层学习率设为1e-5，头部全连接层学习率设为1e-4，分类预训练的高层特征和关键点任务匹配度很低，必须微调适配。
• 移除输出层sigmoid激活：坐标虽然归一化到0-1区间，但sigmoid容易出现梯度饱和，换成linear激活即可，损失函数仍可使用MSE。
• 所有卷积层、全连接层后增加批量归一化层，避免训练过程中特征分布偏移导致的梯度不稳定。

训练流程调整 #

• 先做小样本过拟合验证：取100张标注准确的样本训练，若模型无法在这100个样本上做到损失趋近于0，说明你的数据加载、标注对齐、损失计算等代码存在bug，先修复bug再做全量训练。
• 调整损失函数：把MSE换成Smooth L1损失，对标注离群点的鲁棒性更强，也可以给指尖、手腕这类易混淆的关键点设置更高的损失权重。
• 增加学习率衰减：每训练10个epoch学习率衰减为原来的50%，或使用余弦退火学习率策略，避免学习率过高无法收敛或过低收敛慢的问题。

内容的提问来源于stack exchange，提问作者Sam Skinner