Python3中subprocess子进程实时日志输出问题求助

问题原因 #

Python的标准输出缓冲行为会根据输出目标自动切换：

• 当输出到终端（tty）时，默认采用行缓冲，每输出一行就自动刷新缓冲区，所以直接运行child.py时能每秒打印一行内容。
• 当输出被重定向到管道（比如父进程中用subprocess.PIPE捕获输出）时，Python会切换为块缓冲，只有缓冲区被填满或者进程退出时，才会一次性输出所有内容，这就是你看到所有输出最后集中打印的原因。
• 给print加flush=True是强制手动刷新缓冲区，所以不管输出目标是什么都能实时显示，但你不想修改子进程的话，需要从父进程层面解决。

解决方案 #

方案一：通过环境变量禁用Python缓冲 #

设置PYTHONUNBUFFERED=1环境变量，强制Python子进程关闭标准输出缓冲，让输出直接写入管道，父进程就能实时读取。修改后的parent.py代码：

#!/usr/bin/env python3
import os
import subprocess
import sys

# 复制当前环境并添加禁用缓冲的变量
env = os.environ.copy()
env['PYTHONUNBUFFERED'] = '1'

with subprocess.Popen(
    sys.argv[1:],
    stdout=subprocess.PIPE,
    stderr=subprocess.STDOUT,
    shell=True,
    env=env
) as proc:
    while True:
        byte = proc.stdout.read(1)
        if byte:
            sys.stdout.buffer.write(byte)
            sys.stdout.flush()
        else:
            break
exit_status = proc.returncode

注意：这个方案仅对Python编写的子进程有效，是利用Python自身的环境变量特性实现的。

方案二：用伪终端模拟终端环境 #

通过pty模块创建伪终端，让子进程误以为自己的输出是直接发送到终端，从而保持行缓冲模式，实现实时输出。这个方案更通用，适用于所有依赖终端判断缓冲策略的程序。修改后的parent.py代码：

#!/usr/bin/env python3
import subprocess
import sys
import pty
import os

def read_and_print(fd):
    while True:
        try:
            # 批量读取数据，比单字节读取效率更高
            data = os.read(fd, 1024)
            if not data:
                break
            sys.stdout.buffer.write(data)
            sys.stdout.flush()
        except OSError:
            break

# 创建伪终端对
master_fd, slave_fd = pty.openpty()
with subprocess.Popen(
    sys.argv[1:],
    stdout=slave_fd,
    stderr=slave_fd,
    shell=True,
    close_fds=True
) as proc:
    os.close(slave_fd)  # 父进程不需要slave端，关闭避免资源泄漏
    read_and_print(master_fd)
exit_status = proc.returncode

内容的提问来源于stack exchange，提问作者MSK