PyTorch并行推理无性能提升：BERT情感分析模型推理优化问题咨询

问题本质 #

该现象并非PyTorch框架本身的故障，属于资源调度和推理使用方式不当导致的性能损耗，核心原因如下：

• 若使用GPU推理：单份BERT-base量级的模型就要占用1~2GB显存，10个进程各加载一次模型会直接占满显卡显存，超出显存容量的任务会触发显存交换、进程排队调度，额外的上下文切换开销会完全抵消多进程的收益，甚至导致性能下降。GPU的并行优势是单实例下的批量计算并行，而非多进程多实例抢占资源的并行。
• 若使用CPU推理：PyTorch默认开启MKL/OpenMP多线程计算，单个推理进程会默认占用所有可用CPU核心。开启10个进程会导致核心资源争抢，大量时间消耗在进程调度上，不会产生性能增益。
• 未开启推理模式：若推理时未加torch.no_grad()关闭梯度计算，会产生大量无用的计算和显存占用，进一步拖慢所有进程的推理速度。

正确优化方案 #

• 优先使用单进程批量推理：仅加载一次模型，将所有输入整理成尽可能大的批次送入模型推理，充分利用硬件的向量计算能力，这是BERT推理性价比最高的优化方式。
• 如需使用多进程推理，需先做资源限制：
  • GPU场景：设置进程启动方式为spawn torch.multiprocessing.set_start_method('spawn')，控制进程总数不超过3个（消费级显卡），确保所有进程的模型+批次数据显存总和不超过显卡总显存。
  • CPU场景：提前限制单个进程的计算线程数，进程总数不超过CPU物理核心数，避免核心争抢，示例配置：

    import torch
    torch.set_num_threads(2) # 单个进程占用的计算线程数，可根据总核心数/进程数调整
    

• 额外优化手段：可通过TorchScript转静态图、ONNX Runtime/TensorRT量化压缩的方式进一步提速，通常可获得2~10倍的性能提升。

内容的提问来源于stack exchange，提问作者Ferid Heziyev