高并发快速调用Ansible Runner导致数据错乱问题的排查与解决咨询

从你描述的现象来看，高并发下extravars被拼接篡改，且低并发/加延迟后正常，已经排除传入参数错误的可能，核心问题大概率是多个Ansible Runner实例之间的资源未完全隔离，或者旧版本Runner存在线程安全缺陷。下面是具体的排查思路和解决方案：

一、排查思路 #

1. 检查临时目录的隔离性 #

Ansible Runner默认会使用临时目录存储env/extravars等运行时文件，如果多个请求复用了同一个private_data_dir或artifact_dir，高并发下就会出现多个实例同时读写同一文件的情况，导致数据串写。你可以检查当前代码中是否为每个Runner实例指定了独立的私有目录。

2. 验证kwargs参数的独立性 #

如果你的代码中存在复用kwargs字典（尤其是包含extravars的可变对象）的情况，多个线程可能会同时修改同一对象的内容，导致参数被篡改。要确认每次调用run_async时，传入的kwargs都是全新创建的，没有共享的可变数据。

3. 检查Ansible Runner版本兼容性 #

你使用的Ansible 2.9.6对应的Ansible Runner如果是较旧版本，可能存在线程安全相关的bug（比如临时文件处理未加锁、状态共享等）。可以查看Runner的版本日志，确认是否有类似的已知问题。

4. 排除全局配置的影响 #

虽然sequential模式是控制playbook内任务顺序，但如果存在全局的Ansible配置（比如forks、临时目录路径等）被多个实例共享，也可能间接导致资源冲突。

二、解决方案 #

1. 为每个Runner实例分配独立的私有数据目录 #

这是最直接有效的解决方案，确保每个请求的运行时文件完全隔离。可以通过生成唯一临时目录的方式实现：

import tempfile
import uuid
from pathlib import Path

# 为每个请求生成唯一的私有数据目录
unique_dir = Path(tempfile.gettempdir()) / f"ansible_runner_{uuid.uuid4().hex}"
unique_dir.mkdir(parents=True, exist_ok=True)

# 将独立目录传入kwargs
kwargs["private_data_dir"] = str(unique_dir)

# 执行异步Runner
runner_async_thread, runner_object = ansible_runner.run_async(
    **{k: v for k, v in kwargs.items() if v is not None}
)

# 可选：执行完成后清理临时目录（注意要确保Runner已完全结束）
# import shutil
# shutil.rmtree(unique_dir)

2. 确保参数的完全独立性 #

每次调用run_async时，都要创建全新的kwargs字典，避免复用或共享可变对象。比如extravars要单独生成，不要引用全局变量：

# 错误示例：复用全局的extravars字典
# global_extravars = {"username": "new_user", ...}
# kwargs["extravars"] = global_extravars

# 正确示例：每次调用生成独立的extravars
extravars = {"username": "new_user", "target": f"sever_{target_id}_linux"}
kwargs = {
    "playbook": "your_playbook.yml",
    "extravars": extravars,
    # 其他参数...
}

3. 升级Ansible Runner到兼容的稳定版本 #

针对Ansible 2.9.x，建议升级到Ansible Runner 1.4.x系列的最新版本（比如1.4.6），该版本修复了不少旧版本的线程安全问题。可以通过pip升级：

pip install ansible-runner==1.4.6

4. 临时过渡：添加实例初始化锁 #

如果暂时无法修改目录或升级版本，可以在创建Runner实例的地方添加全局锁，确保同一时间只有一个实例在初始化运行时文件（注意这会降低并发性能，仅作为临时方案）：

import threading

runner_lock = threading.Lock()

def run_playbook_async(kwargs):
    with runner_lock:
        # 在锁内初始化Runner，避免并发写入临时文件
        runner_async_thread, runner_object = ansible_runner.run_async(
            **{k: v for k, v in kwargs.items() if v is not None}
        )
    # 后续的等待逻辑...

三、验证步骤 #

在高并发测试时，可以记录每个请求的private_data_dir路径，执行完成后检查该目录下的env/extravars文件内容是否与传入参数一致，以此确认是否是目录隔离的问题。

内容的提问来源于stack exchange，提问作者xCovelus