PyTorch中模型评估为何未并行执行？如何实现并行化？

为什么GPU没被用于并行评估？ #

这段代码完全没用到GPU，核心原因有两个：

• 模型和数据都在CPU上：代码里的net、images、labels默认存放在CPU内存中，所有运算自然在CPU执行，根本没触达GPU。
• 未配置任何GPU相关的并行逻辑，连最基础的设备迁移操作都缺失。

评估为什么按顺序运行？ #

整个评估流程串行执行的原因：

• 单进程串行遍历批次：for data in testloader是单进程逐一批次处理，必须等当前批次的前向传播、预测计算完成后，才会处理下一个批次。
• 默认数据加载串行：PyTorch的DataLoader默认num_workers=0，数据加载在主进程里串行完成，无法和模型运算并行执行，进一步拖慢了整体流程。

如何实现模型评估的并行化？ #

可以从几个层面优化，逐步实现并行：

1. 基础GPU迁移（利用GPU张量并行） #

先把模型和数据移到GPU，让单GPU的并行计算能力发挥作用：

# 确定设备
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
# 模型移到GPU
net.to(device)

with torch.no_grad():
    for data in testloader:
        # 数据移到GPU
        images, labels = data[0].to(device), data[1].to(device)
        outputs = net(images)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

print(f'Accuracy of the network: {100 * correct // total} %')

GPU会自动对单个batch内的张量运算做并行优化，这是最基础的并行能力。

2. 数据加载并行 #

修改DataLoader的num_workers参数，开启多线程后台加载数据，让数据加载和模型运算重叠执行：

testloader = torch.utils.data.DataLoader(testset, batch_size=32, shuffle=False, num_workers=4)

num_workers建议设置为CPU核心数的1-2倍，避免线程过多导致额外开销。

3. 多GPU并行评估 #

如果有多块GPU，可以用以下两种方式实现跨GPU的批次并行：

• DataParallel（简单易上手）：

net = torch.nn.DataParallel(net)
net.to(device)

它会自动把batch拆分到多个GPU上计算，再合并结果。

• DistributedDataParallel（高效分布式方案）：
  需要启动多个进程，每个进程对应一块GPU，适合多机器多GPU场景，并行效率比DataParallel更高。

4. 辅助优化（提升并行效率） #

• 合理设置batch_size：尽量把batch_size设到GPU显存能容纳的最大值，充分利用GPU计算资源。
• 开启混合精度评估：用torch.cuda.amp.autocast()减少显存占用，提升运算速度：

with torch.no_grad(), torch.cuda.amp.autocast():
    for data in testloader:
        # 后续代码不变

内容的提问来源于stack exchange，提问作者JobHunter69