Subprocess.Popen仅第二次运行异常，多工具boot.py并行执行咨询

我来帮你梳理并解决这个问题——你需要让启动控制器并行调用各工具目录下的boot.py，但目前用Subprocess.Popen时只有第二次运行出现异常，没法实现真正的并行。下面是具体的排查和解决方案：

可能的异常原因分析 #

先拆解下你遇到的问题根源：

• 循环变量名笔误：你的代码片段里写的是for tool in tool...，这明显是语法错误，会直接导致循环逻辑失效
• 工作目录未重置：如果循环里切换到工具目录后没切回顶层目录，第二次运行时会在第一个工具的目录里，找不到后续工具的boot.py
• 子进程输出阻塞：如果没处理子进程的标准输出/错误流，缓冲区满了会导致进程卡住，看起来像是"只运行第二次"的假异常

修复后的并行执行代码实现 #

下面是修正后的完整代码，解决了上述问题并实现真正的并行：

import os
import subprocess
# 替换成你实际引入的模块
from your_config_module import get_config_file, parse_config_file  

def run_boot():
    config_file = get_config_file()
    parse_config_file.init(config_file)
    tools = parse_config_file.get_tools_to_deploy()
    top_dir = os.getcwd()
    processes = []  # 保存所有子进程对象，方便后续管理

    # 修正循环变量名错误，遍历所有待部署工具
    for tool in tools:  
        try:
            # 构建工具对应的目录路径（假设工具名和目录名一致）
            tool_dir = os.path.join(top_dir, tool)
            if not os.path.exists(tool_dir):
                print(f"警告：工具 {tool} 的目录 {tool_dir} 不存在，跳过执行")
                continue
            
            # 切换到工具目录执行boot.py
            os.chdir(tool_dir)
            # 启动子进程，处理输出流避免阻塞，同时实时打印日志
            proc = subprocess.Popen(
                ["python", "boot.py"],
                stdout=subprocess.PIPE,
                stderr=subprocess.STDOUT,
                text=True,
                bufsize=1,  # 行缓冲模式，实时输出日志
                universal_newlines=True
            )
            processes.append(proc)
            print(f"已启动工具 {tool} 的boot.py，进程ID：{proc.pid}")
            # 切回顶层目录，确保下一次循环路径正确
            os.chdir(top_dir)
        except Exception as e:
            print(f"启动工具 {tool} 时出错：{str(e)}")
            # 即使出错也要切回顶层目录，不影响后续工具执行
            os.chdir(top_dir)

    # 可选：等待所有子进程完成，不需要的话可以删除这段
    print("\n等待所有工具启动完成...")
    for proc in processes:
        stdout, _ = proc.communicate()
        if proc.returncode != 0:
            print(f"工具进程 {proc.pid} 异常退出，返回码：{proc.returncode}，输出：{stdout}")
        else:
            print(f"工具进程 {proc.pid} 正常完成，输出：{stdout}")

if __name__ == "__main__":
    run_boot()

关键修复点说明 #

1. 修正循环变量：把for tool in tool...改成for tool in tools，解决最基础的语法错误
2. 目录切换管理：每次进入工具目录执行后，强制切回顶层目录，避免后续工具找不到路径
3. 子进程流处理：通过行缓冲和输出重定向，解决子进程输出阻塞的问题，同时能实时查看日志
4. 进程统一管理：用列表保存所有子进程对象，方便后续监控、等待或终止
5. 异常隔离处理：每个工具的启动逻辑单独包裹try-except，避免一个工具启动失败导致整个控制器崩溃

额外优化建议 #

• 如果你的环境有多个Python版本，可以指定具体的Python路径（比如/usr/bin/python3），避免版本冲突
• 可以把日志输出到文件，方便后续排查问题：

  log_file = os.path.join(top_dir, f"{tool}_boot.log")
  with open(log_file, "w") as f:
      proc = subprocess.Popen(
          ["python", "boot.py"],
          stdout=f,
          stderr=subprocess.STDOUT,
          text=True
      )
  

• 如果需要更精细的进程控制（比如超时、强制终止），可以结合proc.wait(timeout=...)或proc.terminate()来实现

内容的提问来源于stack exchange，提问作者Peter Kentish