如何解决YOLOv3多GPU评估时张量设备不匹配、CUDA转numpy报错的矛盾问题
问题根因
两类报错的本质是张量流转没有按计算阶段做设备隔离:
- 如果注释掉targets的CUDA迁移代码,模型推理输出在CUDA、标注targets在CPU,
get_batch_statistics里做张量相等判断时直接触发设备不匹配的RuntimeError - 如果放开注释把targets迁到CUDA,后续统计环节的代码需要把张量转成numpy格式,CUDA张量没法直接转numpy,触发TypeError
之前的思路是把张量全放CPU或者全放CUDA,没有把GPU做算力密集的推理、坐标变换,CPU做后续指标统计和numpy转换的边界划清楚,才会出现怎么改都顾此失彼的问题。
具体修复方案
直接按「GPU算推理、结果拉回CPU做统计」的逻辑调整evaluate函数,核心改动三点:
- 不硬编码CUDA设备,动态读取模型当前所在的设备做张量迁移,兼容多GPU环境
- 推理阶段的图像、标注全部同步到模型所在设备,完成前向推理、坐标缩放这类算力操作
- 在调用指标统计函数前,把所有推理输出、变换后的标注全部移到CPU,彻底切断CUDA依赖
修复后的可运行代码:
def evaluate(self): self.models.eval() # 自动识别模型运行设备,兼容单卡/多GPU/纯CPU部署场景 device = next(self.models.parameters()).device labels = [] sample_metrics = [] for batch_i, (_, imgs, targets) in enumerate(tqdm.tqdm(self.valid_dataloader, desc="Detecting objects")): # 推理阶段统一对齐设备 imgs = imgs.to(device) targets = targets.to(device) # tolist() 原生支持GPU张量转Python列表,不需要额外拉回CPU labels += targets[:, 1].tolist() # 坐标变换直接在GPU上完成,减少CPU-GPU来回传数据的开销 targets[:, 2:] = xywh2xyxy(targets[:, 2:]) targets[:, 2:] *= self.img_size with torch.no_grad(): outputs = self.models(imgs) outputs = non_max_suppression(outputs, conf_thres=self.conf_thres, nms_thres=self.nms_thres) # *关键操作*:统计环节前全部移回CPU,从根源避免两类报错 outputs_cpu = [batch_out.cpu() for batch_out in outputs] targets_cpu = targets.cpu() sample_metrics += get_batch_statistics(outputs_cpu, targets_cpu, iou_threshold=self.iou_thres) # 后续numpy拼接、AP计算逻辑完全不需要改动 true_positives, pred_scores, pred_labels = [np.concatenate(x, 0) for x in list(zip(*sample_metrics))] precision, recall, AP, f1, ap_class = ap_per_class(true_positives, pred_scores, pred_labels, labels) return precision, recall, AP, f1, ap_class
方案有效性说明
这个改法可以同时覆盖两类报错场景:
- 设备不匹配的报错从根上消失:推理阶段的模型、图像、标注全部在同一个CUDA设备上完成计算,
get_batch_statistics里的张量比较操作不存在跨设备的情况 - CUDA转numpy的报错从根上消失:所有进入统计、numpy转换流程的张量,已经提前拉回了CPU内存,根本不存在CUDA张量参与numpy转换的场景
避坑提醒
- 原代码里注释掉的
Variable(...)逻辑可以直接删掉,当前版本的PyTorch中,torch.no_grad()上下文已经自动禁用梯度记录,不需要额外封装,属于完全冗余的旧版本代码 - 不要硬写
.cuda()做设备迁移,多GPU数据并行场景下,硬编码的设备号可能和实际模型映射的设备不匹配,用模型参数的device属性动态获取是最稳定的方式 - 坐标变换操作放在GPU上计算不会额外增加性能损耗,反而比把数据全部拉回CPU算完再传回去要快很多
内容的提问来源于stack exchange,提问作者Yuxiong Leo Wu
相关产品推荐
相关产品推荐

