You need to enable JavaScript to run this app. 如何解决YOLOv3多GPU评估时张量设备不匹配、CUDA转numpy报错的矛盾问题
优惠活动
大模型
产品
解决方案
定价
更多

如何解决YOLOv3多GPU评估时张量设备不匹配、CUDA转numpy报错的矛盾问题

问题根因

两类报错的本质是张量流转没有按计算阶段做设备隔离:

  • 如果注释掉targets的CUDA迁移代码,模型推理输出在CUDA、标注targets在CPU,get_batch_statistics里做张量相等判断时直接触发设备不匹配的RuntimeError
  • 如果放开注释把targets迁到CUDA,后续统计环节的代码需要把张量转成numpy格式,CUDA张量没法直接转numpy,触发TypeError

之前的思路是把张量全放CPU或者全放CUDA,没有把GPU做算力密集的推理、坐标变换,CPU做后续指标统计和numpy转换的边界划清楚,才会出现怎么改都顾此失彼的问题。

具体修复方案

直接按「GPU算推理、结果拉回CPU做统计」的逻辑调整evaluate函数,核心改动三点:

  • 不硬编码CUDA设备,动态读取模型当前所在的设备做张量迁移,兼容多GPU环境
  • 推理阶段的图像、标注全部同步到模型所在设备,完成前向推理、坐标缩放这类算力操作
  • 在调用指标统计函数前,把所有推理输出、变换后的标注全部移到CPU,彻底切断CUDA依赖

修复后的可运行代码:

def evaluate(self):
    self.models.eval()
    # 自动识别模型运行设备,兼容单卡/多GPU/纯CPU部署场景
    device = next(self.models.parameters()).device

    labels = []
    sample_metrics = []
    for batch_i, (_, imgs, targets) in enumerate(tqdm.tqdm(self.valid_dataloader, desc="Detecting objects")):
        # 推理阶段统一对齐设备
        imgs = imgs.to(device)
        targets = targets.to(device)

        # tolist() 原生支持GPU张量转Python列表,不需要额外拉回CPU
        labels += targets[:, 1].tolist()
        # 坐标变换直接在GPU上完成,减少CPU-GPU来回传数据的开销
        targets[:, 2:] = xywh2xyxy(targets[:, 2:])
        targets[:, 2:] *= self.img_size

        with torch.no_grad():
            outputs = self.models(imgs)
            outputs = non_max_suppression(outputs, conf_thres=self.conf_thres, nms_thres=self.nms_thres)
        
        # *关键操作*:统计环节前全部移回CPU,从根源避免两类报错
        outputs_cpu = [batch_out.cpu() for batch_out in outputs]
        targets_cpu = targets.cpu()
        sample_metrics += get_batch_statistics(outputs_cpu, targets_cpu, iou_threshold=self.iou_thres)

    # 后续numpy拼接、AP计算逻辑完全不需要改动
    true_positives, pred_scores, pred_labels = [np.concatenate(x, 0) for x in list(zip(*sample_metrics))]
    precision, recall, AP, f1, ap_class = ap_per_class(true_positives, pred_scores, pred_labels, labels)

    return precision, recall, AP, f1, ap_class
方案有效性说明

这个改法可以同时覆盖两类报错场景:

  • 设备不匹配的报错从根上消失:推理阶段的模型、图像、标注全部在同一个CUDA设备上完成计算,get_batch_statistics里的张量比较操作不存在跨设备的情况
  • CUDA转numpy的报错从根上消失:所有进入统计、numpy转换流程的张量,已经提前拉回了CPU内存,根本不存在CUDA张量参与numpy转换的场景
避坑提醒
  • 原代码里注释掉的Variable(...)逻辑可以直接删掉,当前版本的PyTorch中,torch.no_grad()上下文已经自动禁用梯度记录,不需要额外封装,属于完全冗余的旧版本代码
  • 不要硬写.cuda()做设备迁移,多GPU数据并行场景下,硬编码的设备号可能和实际模型映射的设备不匹配,用模型参数的device属性动态获取是最稳定的方式
  • 坐标变换操作放在GPU上计算不会额外增加性能损耗,反而比把数据全部拉回CPU算完再传回去要快很多

内容的提问来源于stack exchange,提问作者Yuxiong Leo Wu

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.10 18:06:03