pytest中如何为每个测试指定所需使用的CPU核心数量

核心结论 #

原生 pytest-xdist 不支持为单个测试分配多份worker进程配额，它的调度逻辑固定为：

• 你通过 -n 参数指定的数字是预创建的worker进程总数
• 每个worker同一时间仅执行1个测试用例，调度器不会感知测试内部启动的子进程数量，也不会给单个测试分配多个worker

当前配置合理性说明 #

你目前设置 -n6 的方案是符合负载逻辑的：最多同时跑6个多进程测试时，总进程负载为6*2=12，刚好打满CPU核心；如果强制设置 -n12，当同时跑的多进程测试超过6个时，总进程数会超过CPU核心数，反而会因为进程上下文切换降低整体执行效率。

可行替代实现方案 #

你可以通过自定义标记+并发数限制的方式，实现 -n12 配置下的负载自动控制，既最大化利用CPU，又不会出现过载：

1. 先给需要多进程的测试打自定义标记

import pytest

# 打多核心测试标记
@pytest.mark.multi_core
def test_internal_multi_process():
    # 内部启动2个进程的测试逻辑
    pass

def test_normal_single_process():
    # 常规单进程测试逻辑
    pass

2. 实现跨进程的并发数限制，控制同时运行的multi_core标记测试最多为6个，你可以直接使用pytest-semaphore类插件实现，也可以自己基于跨进程锁实现逻辑，最终效果为：

• 开12个worker的情况下，最多同时跑6个多核心测试，占12核
• 剩余空闲worker可以跑单核心测试，不会出现总负载超过CPU核心数的情况

额外说明 #

如果需要完全实现按测试自定义资源配额的调度，你可以基于pytest-xdist的 pytest_xdist_make_scheduler 钩子自定义调度器，控制测试分配的节奏，避免同一时间调度过多的多核心测试。

内容的提问来源于stack exchange，提问作者Justin Furuness