使用pytest-xdist并行测试时读取同一JSON文件失败求助

你的问题核心是并行测试时JSON文件读取返回空内容，导致解析失败。虽然标准的文件读取操作本身是进程安全的，但结合你的报错信息，大概率是路径解析问题或测试中存在隐式的文件写入操作，而非单纯的读取冲突。以下是修改方案和排查建议：

修复后的文件读取函数 #

import os
import json
from typing import Dict, Any

def load_json(relative_file_path: str) -> Dict[str, Any]:
    # 用abspath确保路径绝对正确，避免子进程工作目录变化导致路径错误
    current_module_dir = os.path.abspath(os.path.dirname(__file__))
    target_file_path = os.path.join(current_module_dir, relative_file_path)
    
    # 前置检查：确保文件存在且非空
    if not os.path.exists(target_file_path):
        raise FileNotFoundError(f"目标JSON文件不存在: {target_file_path}")
    if os.path.getsize(target_file_path) == 0:
        raise ValueError(f"目标JSON文件为空: {target_file_path}")
    
    # 指定UTF-8编码读取，避免环境编码差异导致的问题
    with open(target_file_path, 'r', encoding='utf-8') as opened_file:
        try:
            return json.load(opened_file)
        except json.JSONDecodeError as e:
            # 调试用：读取当前文件内容，方便定位问题
            opened_file.seek(0)
            file_content = opened_file.read()
            raise RuntimeError(f"解析JSON失败，文件内容: {repr(file_content)}") from e

关键修改点说明 #

1. 绝对路径解析：用os.path.abspath包裹路径，避免pytest-xdist子进程工作目录变化导致的相对路径错误（比如子进程可能在临时目录运行，导致__file__的相对路径解析出错）。
2. 前置检查：增加文件存在和非空检查，提前抛出明确错误，避免后续模糊的JSON解析报错。
3. 指定编码：明确使用utf-8编码读取，避免不同环境下编码差异导致的内容读取异常。
4. 调试信息：捕获解析错误时，读取文件内容并抛出，方便你确认实际读取到的内容是否为空或异常。

额外排查建议 #

• 检查测试用例：确认所有测试用例中没有修改该JSON文件的操作（比如写入、清空）。如果有测试需要修改文件，每个测试用例应使用独立的文件副本（比如用pytest的tmp_path fixture创建临时文件），避免并行时的读写冲突。
• 打印实际路径：在函数中加入print(target_file_path)，并行运行时查看子进程输出，确认是否打开了预期的文件。
• 检查文件权限：确保所有子进程都有该JSON文件的读取权限，避免权限不足导致的读取失败（虽然这种情况通常会抛出PermissionError）。

内容的提问来源于stack exchange，提问作者simpleCoder