如何用exec/subprocess.call替换Spyder的runfile并传递命名空间与参数

我有一个可接收命令行参数的Python脚本test.py（例如执行test.py 1可生成数据），另有脚本experiment.py需重复调用test.py。目前在Spyder IDE中通过runfile实现：

experiments = {}
for i in range(10):
    experiments[str(i)] = {}
    runfile('test.py', args=str(i), wdir='/path/to/script/', namespace=experiments[str(i)])

## 利用experiments字典中的数据进行后续处理

这种方式可将每次调用test.py产生的变量存储在独立命名空间中，运行正常。需求是：用exec或subprocess.call替换runfile，同时实现传递参数与独立命名空间隔离，且能在命令行运行脚本。已知最优方案是将test.py改为函数，但test.py篇幅较长，希望尽量不修改它。

方法一：使用exec实现同进程调用（无需修改test.py） #

exec可以直接读取并执行test.py的代码，同时指定独立命名空间，只需模拟命令行参数让test.py识别即可：

import sys
import os

experiments = {}
# 指定test.py的绝对路径
script_path = '/path/to/script/test.py'
# 保存原sys.argv，避免后续调用受影响
original_argv = sys.argv.copy()

for i in range(10):
    # 创建空字典作为独立命名空间
    current_namespace = {}
    # 模拟命令行参数：第一个元素是脚本名，第二个是传入的参数
    sys.argv = ['test.py', str(i)]
    
    # 读取test.py代码并执行，变量会存入current_namespace
    with open(script_path, 'r', encoding='utf-8') as f:
        exec(f.read(), current_namespace)
    
    # 恢复原命令行参数
    sys.argv = original_argv
    # 将命名空间存入experiments字典
    experiments[str(i)] = current_namespace

# 后续处理experiments中的数据，例如访问experiments['0']['生成的变量名']

说明 #

• 该方法在同一进程内执行test.py代码，所有变量直接存入指定的current_namespace字典，完全复刻runfile的命名空间隔离效果。
• 通过修改sys.argv模拟命令行传参，无需对test.py做任何修改。

方法二：使用subprocess实现跨进程调用（需少量修改test.py） #

subprocess会启动独立进程运行test.py，进程间无法直接共享命名空间，因此需要让test.py将生成的数据序列化输出，再由experiment.py读取：

步骤1：修改test.py末尾（仅添加输出逻辑） #

假设test.py生成的核心变量是generated_data，在脚本末尾添加以下代码（不影响原有功能）：

import json
if __name__ == '__main__':
    # 将需要传递的变量序列化为JSON输出，替换为实际变量名
    print(json.dumps(generated_data))

步骤2：experiment.py中调用并读取数据 #

import subprocess
import json

experiments = {}
script_path = '/path/to/script/test.py'

for i in range(10):
    # 启动子进程运行test.py，捕获输出
    proc_result = subprocess.run(
        ['python', script_path, str(i)],
        capture_output=True,
        text=True,
        cwd='/path/to/script/'
    )
    # 解析输出的JSON数据，存入字典
    data = json.loads(proc_result.stdout)
    experiments[str(i)] = {'generated_data': data}

# 后续处理experiments中的数据

说明 #

• 该方法是跨进程调用，避免了同进程执行可能的副作用，但需要对test.py做少量修改以输出数据。
• 如果变量无法序列化为JSON，可改用pickle（注意安全风险，仅在可信环境使用）。

内容的提问来源于stack exchange，提问作者kksagar