训练Faster R-CNN时填充边界框出现无效框问题求助

问题原因 #

你遇到的新报错是因为填充的全0边界框[0.0, 0.0, 0.0, 0.0]不符合模型要求——Faster R-CNN要求所有边界框的宽度（x2 - x1）和高度（y2 - y1）必须为正数，全0框的宽高为0，属于无效框，因此触发报错。

两种可行解决方案 #

方案1：修改填充逻辑，生成有效背景框 #

把填充的边界框改成宽高为正的极小值框，同时保留背景标签（0），这样模型会识别为背景并忽略这些框。修改后的collate_fn如下：

def collate_fn(batch):
    images = []
    labels_list = []
    bboxes_list = []

    for image, labels, bboxes in batch:
        images.append(image)
        labels = torch.tensor(labels, dtype=torch.long)
        bboxes = torch.tensor(bboxes, dtype=torch.float)
        labels_list.append(labels)
        bboxes_list.append(bboxes)

    max_num_bboxes = max(bbox.size(0) for bbox in bboxes_list)
    padded_bboxes = []
    padded_labels = []
    for bbox, label in zip(bboxes_list, labels_list):
        num_bboxes = bbox.size(0)
        pad_size = max_num_bboxes - num_bboxes
        if pad_size > 0:
            # 填充宽高为1的极小有效框（如果是归一化坐标，可改为0.001）
            padding_bbox = torch.tensor([[0.0, 0.0, 1.0, 1.0]] * pad_size, dtype=torch.float)
            padding_label = torch.zeros(pad_size, dtype=torch.long)  # 背景标签
            bbox = torch.cat((bbox, padding_bbox), dim=0)
            label = torch.cat((label, padding_label), dim=0)
        padded_bboxes.append(bbox)
        padded_labels.append(label)

    return torch.stack(images), (torch.stack(padded_labels), torch.stack(padded_bboxes))

方案2：放弃统一长度填充，使用检测任务原生collate_fn #

Faster R-CNN等PyTorch检测模型不需要强制统一每个样本的边界框数量，官方默认的处理方式是将每个样本的标签和边界框封装为字典，batch返回列表形式。这种方式更简洁，也不会引入无效框，修改后的collate_fn如下：

def collate_fn(batch):
    # 堆叠所有图片成张量
    images = torch.stack([item[0] for item in batch])
    targets = []
    for image, labels, bboxes in batch:
        # 按模型要求的格式封装每个样本的target
        target = {
            "boxes": torch.tensor(bboxes, dtype=torch.float32),
            "labels": torch.tensor(labels, dtype=torch.int64)
        }
        targets.append(target)
    return images, targets

使用这个collate_fn时，DataLoader的调用方式不变，模型会自动处理每个样本的不同数量边界框，从根源上避免了之前的stack报错和现在的无效框问题。

内容的提问来源于stack exchange，提问作者Mees Elizabeth