Python通过subprocess调用多进程脚本输出顺序异常原因咨询

核心原因：Python标准输出缓冲机制 #

该问题是Python标准输出的默认缓冲策略导致的，和多进程启动逻辑、专有软件的进程限制无关，具体触发逻辑如下：

• 当你在脚本A中使用subprocess.run(capture_output=True)启动ScriptB时，ScriptB的标准输出（stdout）会被绑定到管道而非交互式终端，Python会自动将stdout的缓冲模式从行缓冲切换为全缓冲：只有缓冲区写满、进程主动flush、或者进程退出时，缓冲区内的内容才会真正写入管道。
• ScriptB主进程先执行print("In main")，此时输出内容暂存到主进程的stdout缓冲区，没有实际写入管道。
• 接下来启动p1、p2两个子进程，Windows下Python的multiprocessing默认采用spawn模式启动子进程，子进程会继承父进程的stdout管道，但各自持有独立的输出缓冲区。
• 两个子进程执行完所有print操作后，进程退出时会自动flush自身缓冲区，它们的输出内容先全部写入管道。
• 等两个子进程都join完成后，ScriptB主进程退出，此时才会flush自身的缓冲区，把之前暂存的In main写入管道。
• 最终你从管道读取到的内容顺序就是子进程输出在前，主进程的In main在后。

修复方案 #

你可以任选以下任意一种方法解决问题：

• 在ScriptB的print语句中添加flush=True参数，强制打印后立刻刷出缓冲区：

  print("In main", flush=True)
  

• 启动ScriptB时添加Python的-u参数，强制整个脚本使用无缓冲模式运行：

  py2output=subprocess.run(["python.exe","-u", "ScriptB.py"],capture_output=True).stdout
  

• 在ScriptB开头手动修改stdout为行缓冲模式：

  import sys
  import os
  sys.stdout = os.fdopen(sys.stdout.fileno(), 'w', buffering=1)
  

内容的提问来源于stack exchange，提问作者daniel