PyTorch线程数与可用CPU核心数的匹配推荐及性能疑问

一、默认线程数的由来 #

PyTorch默认的num_threads和num_interop_threads是基于物理核心数而非虚拟核心（超线程）设置的。你拥有8个vCPU，对应4个物理核心+超线程架构，所以默认线程数被设为4，这就是CPU负载稳定在50%的原因。

官方文档核心内容（翻译） #

PyTorch在CPU上的线程配置分为两类：

1. 运算内线程（intra-op threads）：用于单个算子（如矩阵乘法）内部的并行计算，对应torch.set_num_threads()接口
2. 运算间线程（interop threads）：用于调度多个算子之间的并行执行，对应torch.set_num_interop_threads()接口
   默认情况下，PyTorch会根据系统物理核心数自动设置这两个线程数，目的是避免超线程带来的资源竞争——超线程核心共享物理缓存、执行单元等资源，过度启用反而会因缓存争用、上下文切换降低计算效率。

二、默认配置是否为最优推荐？ #

默认配置是PyTorch官方针对大多数场景给出的通用最优方案，原因在于：

• 超线程核心并非独立物理资源，当线程数超过物理核心数时，同一物理核心下的两个超线程会争抢共享资源，导致单个算子的计算效率下降
• 不同模型的计算特性差异明显：计算密集型模型（如大参数量Transformer）在物理核心上运行效率更高；内存/IO密集型模型可能从超线程中获得有限收益，这也解释了你遇到的“部分模型调满线程后反而变慢”的现象

三、追求最佳性能的配置建议 #

不存在统一的“最优线程数”，需结合业务场景和模型特性测试确定：

单进程场景 #

• 计算密集型模型：优先测试物理核心数对应的线程数（即你场景中的4线程）
• 内存/IO密集型模型：可逐步提高线程数至虚拟核心数，观察性能变化后选择最优值

多进程并发场景 #

• 若运行多个PyTorch进程，建议每个进程的线程数设为物理核心数 / 进程数，避免进程间抢占资源导致上下文切换过载（比如你测试中两个进程都设8线程，会占满所有核心，进程频繁切换反而无法完成任务）
• 你测试中双进程用50%负载仅能达到1.2倍输入量，正是因为超线程核心无法提供与物理核心等价的计算能力，无法实现线性扩容

测试现象的逻辑验证 #

你观察到的所有测试结果都符合PyTorch线程调度的底层逻辑：

• 单进程4线程比8线程快：规避了超线程的资源竞争
• 双进程4线程总收益不足2倍：超线程的资源共享限制了计算能力的线性提升
• 双进程8线程无法完成任务：进程间完全抢占核心，上下文切换开销过大

内容的提问来源于stack exchange，提问作者Amaimersion