Python中subprocess执行时实时读取stdout/stderr的非阻塞方案咨询

问题核心有两个：

1. Python的print默认是行缓冲模式，子进程的输出会被暂存，直到缓冲满或者进程结束才会发送到管道
2. 你用的procId.stdout.read()会一次性读取所有内容，必须等子进程关闭管道才会返回

下面是几种可行的解决办法：

方法1：禁用子进程的输出缓冲（最简单） #

给Python命令加-u参数，强制标准输出/错误变为无缓冲模式，这样子进程的print内容会立即写入管道：

父进程代码：

import subprocess

procId = subprocess.Popen(
    'python3 -u teststuff.py',
    shell=True,
    close_fds=True,
    stdout=subprocess.PIPE,
    stderr=subprocess.STDOUT,
    text=True  # 直接读取字符串，无需手动解码字节
)

# 逐行读取输出，实时打印
for line in procId.stdout:
    print(line.strip())

修改后，子进程第一个print执行后，父进程就能立刻拿到内容并打印，不用等10秒的sleep结束。

方法2：修改子进程代码强制刷新输出 #

如果不能给子进程加-u参数，可以在子进程的print里加上flush=True，手动刷新缓冲：

teststuff.py修改后：

import time

if __name__ == "__main__":
    time.sleep(1)
    print("testing stdout", flush=True)
    time.sleep(10)
    print("another msg", flush=True)

父进程代码保持逐行读取即可，无需其他修改。

方法3：非阻塞读取（适合复杂场景） #

如果需要更灵活的非阻塞处理，可以用select模块监听管道的可读状态，避免阻塞等待：

import subprocess
import select

procId = subprocess.Popen(
    'python3 teststuff.py',
    shell=True,
    close_fds=True,
    stdout=subprocess.PIPE,
    stderr=subprocess.STDOUT,
    text=True
)

while procId.poll() is None:  # 进程运行时持续监听
    # 用select检查stdout是否有可读内容，超时1秒
    ready, _, _ = select.select([procId.stdout], [], [], 1)
    if ready:
        line = procId.stdout.readline()
        if line:
            print(line.strip())

# 读取进程结束前剩余的输出
remaining = procId.stdout.read()
if remaining:
    print(remaining.strip())

这种方法适合需要同时处理多个IO流，或者不想被逐行读取阻塞的场景。

注意事项 #

• 尽量避免用shell=True，可以直接传列表形式的命令参数（比如['python3', '-u', 'teststuff.py']），更安全且避免shell解析的潜在问题
• text=True（Python 3.7+）等价于universal_newlines=True，可以直接读取字符串，无需手动解码字节

内容的提问来源于stack exchange，提问作者BasJansw