单GPU并发测试多个PyTorch模型比迭代方式慢20%的原因排查

你的方案比迭代测试慢20%左右，核心原因是单GPU场景下使用多进程并发完全无法发挥GPU的并行计算能力，反而会引入大量额外开销，具体问题如下：

• GPU上下文切换开销：GPU是单设备，多进程同时访问时，CUDA需要在不同进程间切换计算上下文，每次切换都要保存和恢复显存数据、计算状态，这个过程会产生显著耗时。而迭代测试时单进程独占GPU，连续计算无切换开销，效率更高。

• 重复初始化的资源浪费：每个子进程都要独立初始化Model、DataLoader和Trainer，包括重复加载模型权重到显存、初始化数据预处理管道、创建Trainer组件。迭代测试中这些初始化操作只需要执行一次（或复用部分资源），多进程下的重复初始化会累积大量额外时间。

• 嵌套进程加剧调度压力：PyTorch Lightning的Trainer默认会启动子进程用于数据加载（比如num_workers参数），再加上你用ProcessPoolExecutor创建的外层进程，会形成嵌套进程结构。这会抢占CPU资源，导致数据加载和GPU计算的调度冲突，拖慢整体速度。

• 显存碎片化与重复占用：每个子进程都会在显存中加载一份模型权重，单GPU显存有限时，多进程同时加载会造成显存碎片化，甚至触发显存交换（如果显存不足），严重降低计算效率。迭代测试时可以复用显存空间（测试完一个模型释放后再加载下一个），显存利用更高效。

内容的提问来源于stack exchange，提问作者Thomas K