如何为pytest测试套件动态按需构建外部依赖？

核心思路 #

利用pytest的测试收集钩子，在测试运行前自动收集所有待执行测试文件声明的依赖，合并去重后一次性执行构建命令，确保每个依赖在单次pytest运行中仅构建一次，且仅构建当前测试实际需要的依赖。

步骤实现 #

1. 在测试文件中声明依赖 #

每个测试文件顶部添加TEST_DEPS变量，明确标注所需依赖：

• test_1.py（无依赖）：

# 可选：不定义或定义为空列表
TEST_DEPS = []

def test_example_1():
    # 测试逻辑
    pass

• test_2.py：

TEST_DEPS = ["dep_a"]

def test_example_2():
    # 测试逻辑
    pass

• test_3.py：

TEST_DEPS = ["dep_a", "dep_b"]

def test_example_3():
    # 测试逻辑
    pass

2. 编写conftest.py实现依赖收集与构建 #

在tests/目录下创建conftest.py，通过pytest_collection_finish钩子完成依赖处理：

import subprocess
from pytest import Config

# 全局集合记录已构建的依赖，避免重复执行构建
built_deps = set()

def pytest_collection_finish(config: Config):
    # 收集所有待执行测试模块的依赖
    required_deps = set()
    for test_item in config.items:
        test_module = test_item.module
        if hasattr(test_module, "TEST_DEPS"):
            required_deps.update(test_module.TEST_DEPS)
    
    # 筛选出尚未构建的依赖
    deps_to_build = required_deps - built_deps
    if deps_to_build:
        # 拼接构建命令
        build_command = ["build"] + list(deps_to_build)
        print(f"执行构建命令: {' '.join(build_command)}")
        # 执行构建，check=True会在命令失败时抛出异常终止测试
        subprocess.run(build_command, check=True)
        # 更新已构建依赖集合
        built_deps.update(deps_to_build)

效果验证 #

• 仅运行test_1：pytest tests/test_1.py → 无构建命令执行
• 仅运行test_2：pytest tests/test_2.py → 执行build dep_a
• 同时运行test_2和test_3：pytest tests/test_2.py tests/test_3.py → 执行build dep_a dep_b（仅一次）
• 单次pytest运行中多次触发依赖需求：依赖仅构建一次

补充说明 #

• 若构建命令需要指定工作目录或环境变量，可在subprocess.run中添加cwd或env参数
• 若依赖有本地缓存机制，可在判断是否需要构建时加入缓存检查（比如检查依赖文件是否存在）
• 该方案支持任意数量的测试文件和依赖，只需在对应测试文件中声明TEST_DEPS即可扩展

内容的提问来源于stack exchange，提问作者user21962266