如何在Python中安全读取subprocess的stdout并处理长进程？

核心问题回顾 #

警告（Popen.stdout）：请使用communicate()而非.stdin.write、.stdout.read或.stderr.read，以避免因操作系统管道缓冲区填满导致子进程阻塞而引发死锁。

说明（Popen.communicate）：读取的数据会缓冲在内存中，因此若数据量较大或无上限，请不要使用此方法。

我们需要实现类似如下的功能：

with popen(["command", "--arg=foo"]) as file:
    while True:
        (out, err) = file.communicate_one_line()
        if out is None and err is None: break
        # 自定义输出处理逻辑

已通过selectors实现但复杂度较高，以下是更简洁的替代方案：

推荐实现方案 #

1. 原生线程分离流读取（无第三方依赖） #

通过线程分别处理stdout和stderr，既避免管道死锁，又不会缓存全量输出：

import subprocess
import threading

def read_stream(stream, handler):
    # 迭代读取每一行，直到流结束
    for line in iter(stream.readline, b''):
        handler(line.decode('utf-8').strip())
    stream.close()

with subprocess.Popen(
    ["command", "--arg=foo"],
    stdout=subprocess.PIPE,
    stderr=subprocess.PIPE,
    text=False
) as proc:
    # 定义stdout/stderr的处理函数
    def handle_stdout(line):
        print(f"STDOUT: {line}")
    
    def handle_stderr(line):
        print(f"STDERR: {line}")
    
    # 启动线程分别处理两个流
    stdout_thread = threading.Thread(target=read_stream, args=(proc.stdout, handle_stdout))
    stderr_thread = threading.Thread(target=read_stream, args=(proc.stderr, handle_stderr))
    
    stdout_thread.start()
    stderr_thread.start()
    
    # 等待线程和子进程完成
    stdout_thread.join()
    stderr_thread.join()
    proc.wait()

2. 第三方库pexpect（极简API） #

pexpect专为交互式进程控制设计，内置流同步处理，代码更简洁：

import pexpect

proc = pexpect.spawn("command --arg=foo", encoding='utf-8')
while True:
    line = proc.readline()
    if not line:
        break
    print(f"输出: {line.strip()}")
proc.close()

该库支持输出匹配、超时控制等进阶功能，适合复杂场景。

3. 原生行缓冲迭代（适合单流场景） #

若无需区分stdout和stderr，可将stderr重定向到stdout，配合行缓冲逐行读取：

import subprocess

with subprocess.Popen(
    ["command", "--arg=foo"],
    stdout=subprocess.PIPE,
    stderr=subprocess.STDOUT,
    text=True,
    bufsize=1  # 启用行缓冲
) as proc:
    for line in proc.stdout:
        print(f"输出: {line.strip()}")

总结 #

• 无依赖需求：优先选择线程分离流的方案，逻辑清晰且稳定
• 追求代码简洁：使用pexpect，封装好的API能大幅减少开发量

内容的提问来源于stack exchange，提问作者sh1