pytest xdist不同worker数量下失败测试数不一致问题排查求助

核心原因判断 #

这种不同worker数下失败数波动、单进程与手动运行结果不符的情况，本质是测试用例存在隐式全局状态污染，或是fork模式下的资源初始化漏洞——即便代码无显性随机逻辑，xdist的forked模式会复制主进程状态，若全局变量、单例对象、文件句柄等在测试中被修改，会在worker进程间产生交叉影响；不同worker数会改变进程调度顺序，进而放大这类问题。

分步排查与修复方案 #

1. 锁定异常测试用例 #

• 把在不同worker数下结果反复变化的测试单独拎出来，分别在单进程、多进程模式下运行对比：

  pytest -xvs tests/xxx.py::TestClass::test_case
  pytest -n 2 -xvs tests/xxx.py::TestClass::test_case
  

• 重点核对断言值差异来源：
  • 测试是否修改了全局变量、模块级属性
  • 是否使用单例对象且未在测试间重置状态
  • 是否依赖未做隔离的外部资源（如共享文件、数据库连接）

2. 排查fork模式初始化问题 #

当前使用forked-1.3.0，fork模式下主进程的全局状态会被复制给所有worker，若主进程在用例收集阶段就修改了某些状态，会导致worker继承"脏状态"：

• 改用--dist=loadfile模式，让每个worker单独处理一个文件，降低跨用例状态污染：

  pytest -n 8 --dist=loadfile
  

• 在conftest.py中添加钩子，打印全局变量/单例对象的初始状态，对比主进程与worker进程的状态差异：

  def pytest_configure(config):
      import my_module
      print(f"Main process global var: {my_module.global_var}")
  
  def pytest_sessionstart(session):
      if hasattr(session.config, 'workerinput'):
          import my_module
          print(f"Worker {session.config.workerinput['workerid']} global var: {my_module.global_var}")
  

3. 强制测试状态隔离 #

• 给所有测试添加自动执行的fixture，在每个测试前后重置全局状态、单例对象：

  import my_module
  import pytest
  
  @pytest.fixture(autouse=True)
  def reset_test_state():
      # 保存原始状态
      original_global = my_module.global_var.copy()
      original_singleton = my_module.MySingleton.get_instance().state.copy()
      yield
      # 恢复状态
      my_module.global_var = original_global
      my_module.MySingleton.get_instance().state = original_singleton
  

• 对于外部资源，每个测试使用独立临时文件、独立测试数据库连接，避免多worker同时读写同一资源

4. 升级插件版本 #

当前使用的xdist-2.5.0、forked-1.3.0存在已知的进程隔离漏洞，升级到最新稳定版：

pip install --upgrade pytest-xdist pytest-forked anyio

5. 启用调试日志定位问题 #

运行测试时开启详细日志，观察worker进程的执行顺序与状态变化：

pytest -n 8 -vv --log-level=DEBUG

重点关注worker启动、测试执行前后的资源状态，排查是否存在异常资源共享或状态修改

验证修复效果 #

1. 先确保单进程模式下测试结果与手动运行完全一致：pytest -xvs
2. 逐步增加worker数（从-n1到-n12），验证失败测试数稳定统一
3. 最后用-n auto验证结果与指定worker数时一致

内容的提问来源于stack exchange，提问作者Hauptideal