如何在Spyder控制台中显示subprocess的输出？

问题场景 #

在Spyder中顺序执行多个神经网络计算的.py文件时，使用subprocess调用子进程，控制台无法像单文件执行那样显示输出：

• 单文件执行时控制台正常显示训练日志：

In [1]: runfile('NN.py', wdir='D:/test')
[1/200] losses：... loss_D:... loss_G:...
...

• 顺序执行时仅显示启动信息，无后续输出：

[1]runfile('D:Sequential_execution_test.py', wdir='D:/test')

用户当前使用的顺序执行代码：

import os
import sys
import subprocess
from subprocess import Popen, PIPE, CalledProcessError

script_paths = [r'D:\code1.py', r'D:\code2.py']

for script in script_paths:
    os.chdir(os.path.dirname(script))
    with Popen(["python", script], stdout=PIPE, bufsize=1, universal_newlines=True) as p:
        for line in p.stdout:
            print(line, end='') # process line here
            sys.stdout.flush()

已取消Spyder偏好设置中的Hide command line output windows generated by the subprocess module.选项，但问题仍存在。

解决方法 #

1. 同时捕获标准输出和标准错误流 #

子进程的日志可能输出到stderr而非stdout，修改代码同时捕获两个流：

import os
import sys
from subprocess import Popen, PIPE

script_paths = [r'D:\code1.py', r'D:\code2.py']

for script in script_paths:
    os.chdir(os.path.dirname(script))
    # 同时捕获stdout和stderr，合并到一个流
    with Popen(["python", script], stdout=PIPE, stderr=STDOUT, bufsize=1, universal_newlines=True) as p:
        for line in p.stdout:
            print(line, end='')
            sys.stdout.flush()

2. 使用Spyder内置的runfile替代subprocess #

直接调用Spyder原生的runfile函数执行脚本，能保持和手动单文件执行完全一致的输出行为：

import os
from spyder_kernels.utils.misc import runfile

script_paths = [r'D:\code1.py', r'D:\code2.py']

for script in script_paths:
    wdir = os.path.dirname(script)
    # current_namespace=False让每个脚本在独立环境执行，避免变量冲突
    runfile(script, wdir=wdir, current_namespace=False)

3. 强制子进程无缓冲输出 #

部分Python脚本在非交互式环境下会缓冲输出，添加-u参数启动Python可强制禁用缓冲：

import os
import sys
from subprocess import Popen, PIPE

script_paths = [r'D:\code1.py', r'D:\code2.py']

for script in script_paths:
    os.chdir(os.path.dirname(script))
    # 添加-u参数禁用输出缓冲
    with Popen(["python", "-u", script], stdout=PIPE, stderr=STDOUT, bufsize=1, universal_newlines=True) as p:
        for line in p.stdout:
            print(line, end='')
            sys.stdout.flush()

4. 检查被调用脚本的输出逻辑 #

确认code1.py、code2.py等目标脚本中，输出代码是否仅在__main__模式下执行：

# 确保训练日志的输出代码在子进程调用时也能触发
if __name__ == "__main__":
    # 训练逻辑和输出代码
    print("[1/200] losses：...")

子进程调用时脚本会进入__main__模式，若脚本存在其他限制输出的逻辑，需对应调整。

内容的提问来源于stack exchange，提问作者yx feng