PyTorch CNN实时人脸检测：边界框不显示/类别预测异常问题

问题背景 #

我正在做一个教学项目，基于PyTorch训练CNN模型，使用带有人脸类别标签和bbox坐标的标注图片，目标是实现实时人脸检测并显示边界框。为了教学演示，刻意采用了非最优的CNN架构方案。目前遇到两个阶段的问题：

1. 初始阶段：模型能检测到人脸，但无法正确绘制边界框
2. 调整后：边界框坐标预测正确，但类别预测始终返回0，导致边界框仍无法显示

一、初始阶段：边界框无法正确显示的常见原因及修复 #

• 坐标格式不匹配：训练时标注的bbox如果是归一化相对坐标（比如相对于图像宽高的0-1值），推理时直接当成像素值绘制就会出现框体过小/位置偏移。
  • 修复逻辑：将模型输出的归一化坐标转换为图像像素坐标：

    # 假设模型输出bbox为[norm_x1, norm_y1, norm_x2, norm_y2]
    img_w, img_h = frame.shape[1], frame.shape[0]
    x1 = int(norm_x1 * img_w)
    y1 = int(norm_y1 * img_h)
    x2 = int(norm_x2 * img_w)
    y2 = int(norm_y2 * img_h)
    

• 坐标超出图像范围：模型输出的bbox可能存在负数或超过图像尺寸的数值，导致绘制时无法显示。
  • 修复逻辑：添加坐标裁剪限制：

    x1 = max(0, x1)
    y1 = max(0, y1)
    x2 = min(img_w - 1, x2)
    y2 = min(img_h - 1, y2)
    

二、调整后类别预测始终为0的排查方向 #

• 标签映射逻辑错误：如果训练时人脸类别的标签是0（而非默认假设的1），但推理时判断条件写的是pred_class == 1，就会触发不了边界框绘制。
  • 修复：核对数据集标签编码，将绘制条件改为对应标签值的判断，比如if pred_class == 0: 绘制边界框。
• 推理阶段未做分类后处理：模型输出的是原始logits值，没有通过argmax取类别索引，导致输出的0是logits数值而非类别标识。
  • 修复：推理时对分类结果做argmax处理：

    pred_cls = model_output['cls']  # 模型分类分支输出
    pred_class = torch.argmax(pred_cls, dim=1).item()
    

• 损失函数与类别输出不匹配：如果分类分支用CrossEntropyLoss，但模型最后一层输出维度不等于类别总数，或者训练时标签未转为long类型，会导致模型学习偏差。
  • 修复：确认分类头输出维度等于类别数（比如人脸+背景共2类则输出维度为2），训练时标签转换为long类型：

    class_labels = class_labels.long()
    loss_cls = F.cross_entropy(pred_cls, class_labels)
    

• 类别不平衡导致模型偏向背景：如果数据集中背景样本远多于人脸样本，模型会倾向于预测背景类（标签0）。
  • 修复：训练时给人脸类别添加损失权重：

    weight = torch.tensor([1.0, 5.0]).to(device)  # 给人脸类别（假设为1）设置更高权重
    loss_cls = F.cross_entropy(pred_cls, class_labels, weight=weight)
    

三、通用调试技巧 #

1. 打印关键变量：推理时输出模型的bbox坐标、分类logits、预测类别，确认每个环节的数值是否符合预期。
2. 单图测试验证：拿一张训练集中的标注图片输入模型，对比模型输出与标注的bbox、分类结果，排除摄像头输入的干扰。
3. 检查权重加载：确认推理时加载的是训练完成的权重文件，而非初始随机权重。

内容的提问来源于stack exchange，提问作者N1ne