通过Multiprocessing并行运行Python脚本遇无输出问题求助

你的代码出现这种情况，主要有几个常见原因，以及对应的解决方法：

可能的问题点 #

• 脚本路径错误：如果1.py、2.py、3.py不在当前工作目录，os.system找不到文件，会静默卡住（或返回错误但你无法看到）。
• os.system不转发子进程输出：即使脚本本身有输出，os.system不会把这些输出传递到主进程的控制台，导致你看不到任何内容。
• 目标脚本自身问题：比如脚本包含死循环、需要手动输入，或者执行过程中卡住，导致子进程一直运行不结束。

修改后的解决方案代码 #

用subprocess替代os.system（它能更好地捕获输出和错误），同时优化进程池的使用：

import os
from multiprocessing import Pool
import subprocess

# 建议使用绝对路径避免路径问题，比如：['/home/user/scripts/1.py', ...]
scripts = ['1.py', '2.py', '3.py']

def run_script(script_path):
    try:
        # 捕获脚本的输出和错误信息
        result = subprocess.run(
            ['python', script_path],
            stdout=subprocess.PIPE,
            stderr=subprocess.PIPE,
            text=True,
            check=True
        )
        print(f"[{script_path}] 执行成功，输出:\n{result.stdout}")
    except subprocess.CalledProcessError as e:
        print(f"[{script_path}] 执行失败，错误码: {e.returncode}")
        print(f"错误详情:\n{e.stderr}")
    except FileNotFoundError:
        print(f"错误：[{script_path}] 文件不存在，请检查路径")

if __name__ == "__main__":
    # 使用with语句自动管理进程池的关闭和等待
    with Pool(processes=3) as pool:
        pool.map(run_script, scripts)

调试步骤 #

1. 先单独运行每个脚本：在终端执行python 1.py，确认能正常输出且顺利结束。
2. 检查脚本路径：如果脚本不在当前运行目录，替换为绝对路径。
3. 查看错误信息：修改后的代码会打印执行中的错误，帮助定位问题（比如脚本语法错误、依赖缺失等）。

内容的提问来源于stack exchange，提问作者Mohit Garg