自定义PyTorch多目标检测模型输出固化，梯度更新异常排查

1. 特征扁平化操作严重丢失空间信息 #

你的forward方法里这一步完全错误：

x = torch.transpose(x,1,3)[::,0][:,0]

直接取特征图固定位置的元素，相当于丢弃了所有空间维度的特征，不管输入什么图像，最后得到的都是同一个点的向量，输出自然不会有差异。

正确做法是保留所有特征信息：

• 用全局平均池化：x = F.adaptive_avg_pool2d(x, (1,1)).flatten(1)
• 或者直接展平：x = x.flatten(1)（注意要同步调整全连接层fc1的输入维度，需根据卷积后的特征图尺寸计算）

2. 多模型并行的训练逻辑错误 #

当前训练循环把每个net和labels里的单个标签配对，完全不符合多目标检测逻辑：单张图像对应多个目标框标签，所有并行的net应该同时处理同一张图像，各自预测一个框，再和该图像的所有真实框做IOU匹配，分配对应标签计算损失。

现在的写法相当于每个net只学一个样本的单个框，根本学不到不同目标的特征差异。修改思路：

• 整合所有net的输出，对单张图像的所有预测框，与真实框做IOU匹配，给每个预测框分配最匹配的真实框（忽略IOU过低的框）
• 统一计算所有框的损失，而非每个net单独计算

3. 损失函数未加权，量级失衡 #

三个损失直接相加：loss = confidence_loss + box_loss + category_loss，但三者量级可能天差地别：

• 置信度损失（BCE）通常在0-1之间
• 框损失（MSE）若坐标是原始像素值（如几百），损失值会极大，直接掩盖其他损失
• 分类损失（CrossEntropy）量级也可能不匹配

解决方法：

• 先把框坐标归一化到0-1区间，缩小MSE损失量级
• 给每个损失加权重系数，示例：

  loss = 0.5 * confidence_loss + 2.0 * box_loss + 1.0 * category_loss
  

  权重可根据数据实际情况调整

4. 学习率过高 #

learning_rate = 1e-02对于这种深度网络来说过大，SGD+momentum用这么大的学习率极易导致参数震荡，模型无法收敛到有效解，只能停留在初始的相似输出状态。

建议先将学习率降到1e-4，若训练过慢再逐步调到1e-3，同时可考虑用Adam优化器替代SGD，收敛更稳定。

5. 输入数据未归一化 #

若图像像素值仍为0-255范围，直接输入网络会导致卷积层输入值过大，ReLU激活后容易饱和，梯度消失或更新缓慢。

必须添加归一化步骤：

# 简单归一化到0-1
inputs = inputs / 255.0
# 或用均值方差归一化（ImageNet参数示例）
mean = torch.tensor([0.485, 0.456, 0.406]).to(device)
std = torch.tensor([0.229, 0.224, 0.225]).to(device)
inputs = (inputs - mean) / std

6. 模型初始化不合理 #

PyTorch默认参数初始化可能导致激活值分布异常，可手动添加合理初始化：

def __init__(self, ...):
    # 原有代码...
    # 初始化卷积层和全连接层
    for m in self.modules():
        if isinstance(m, nn.Conv2d):
            nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu')
            if m.bias is not None:
                nn.init.constant_(m.bias, 0)
        elif isinstance(m, nn.Linear):
            nn.init.kaiming_normal_(m.weight, nonlinearity='relu')
            nn.init.constant_(m.bias, 0)

其他排查点 #

• 检查标签正确性：确认labels里的y_pc、y_box、y_category是否与输入图像对应，有没有标签错位或全为相同值的情况
• 监控损失变化：若损失一直不变或波动剧烈，说明训练流程存在问题
• 打印中间特征：在forward中输出中间特征的均值、方差，观察不同输入的特征是否有差异，若无差异则特征提取部分存在问题

内容的提问来源于stack exchange，提问作者lori