Python 3.6 如何在子进程终止前实时获取stdout/stderr输出并支持主动终止

之前所有尝试（不管是直接用subprocess、还是搭配asyncio/threading做异步读取）拿不到实时输出，本质是两个环节同时存在阻塞，和模块本身的能力没关系：

• 子进程输出端的全缓冲机制：Python解释器在被管道捕获stdout/stderr时，默认会把输出缓冲区切到全缓冲模式，写入的内容会攒在内存缓冲区里，等攒到固定大小、进程主动flush、进程退出时才会推到管道里，父进程根本拿不到实时内容
• 父进程读取端的阻塞设计：不管是proc.communicate()，还是直接调用proc.stdout.read()整段读取，都是设计来等管道关闭（也就是子进程退出）才会返回结果的，哪怕子进程推了内容过来，用这种方法读也会一直卡到进程结束才出结果。

整个方案不需要额外依赖，用标准库就能实现，支持随时主动终止子进程、实时拿到每一笔输出：

第一步：强制子进程输出无缓冲 #

不需要修改子进程脚本的代码，两种方式选一种就行，效果完全一致：

• 启动子进程时给Python解释器加-u参数，强制开启无缓冲运行模式，也就是命令构造的时候写[sys.executable, "-u", "/path/to/your/file.py"]
• 给子进程传带PYTHONUNBUFFERED=1的环境变量，同样能让Python解释器关闭输出全缓冲

第二步：独立线程分流读取stdout/stderr #

不要用proc.communicate()，给stdout和stderr各开一个独立的后台守护线程，循环逐行读管道内容：

• 每读到一行新内容，就立刻写入自定义的缓存结构，同时可以做自定义的实时处理逻辑（比如实时打印、落盘）
• 主线程完全掌握控制权，可以随时根据需求调用proc.terminate()/proc.kill()终止子进程，终止后直接从缓存里取所有已经读到的输出即可，不需要等子进程自然运行结束

可直接运行的示例代码 #

import subprocess
import sys
import threading
import time

# 自定义缓存结构，存储实时读到的所有输出
output_bucket = {
    "stdout": [],
    "stderr": []
}

def stream_reader(stream, bucket_key):
    # 逐行读取流内容，遇到流关闭自动退出线程
    for line in iter(stream.readline, b''):
        decoded = line.decode(sys.getdefaultencoding(), errors="replace")
        output_bucket[bucket_key].append(decoded)
        # 这里可以直接做实时处理，比如打印、UI更新等
        print(f"[实时捕获] {bucket_key}: {decoded.strip()}")
    stream.close()

if __name__ == "__main__":
    # 构造子进程启动命令，加-u参数开无缓冲
    sub_proc = subprocess.Popen(
        [sys.executable, "-u", "/path/to/your/file.py"],
        stdout=subprocess.PIPE,
        stderr=subprocess.PIPE
    )

    # 启动两个守护线程分别读两个流，主线程退出时线程自动销毁
    t_stdout = threading.Thread(target=stream_reader, args=(sub_proc.stdout, "stdout"), daemon=True)
    t_stderr = threading.Thread(target=stream_reader, args=(sub_proc.stderr, "stderr"), daemon=True)
    t_stdout.start()
    t_stderr.start()

    # 主线程自定义逻辑：比如运行10秒后主动终止子进程
    time.sleep(10)
    print("到达自定义终止时间，主动结束子进程")
    sub_proc.terminate()
    sub_proc.wait() # 回收子进程资源，避免产生僵尸进程

    # 终止后直接从缓存取所有捕获到的输出
    print("=== 子进程终止前累计所有输出 ===")
    print("标准输出:", "".join(output_bucket["stdout"]))
    print("标准错误:", "".join(output_bucket["stderr"]))

踩坑提醒

• 禁止用stream.read()整段读取，这个方法会阻塞到流关闭才返回内容，必须用readline()逐行读，或者按固定字节块读，才能拿到实时数据
• 不要把stdout和stderr合并到同一个管道里，管道缓冲区大小有限，一旦写满子进程会被阻塞卡住，分开管道、两个线程分流读就能规避这个问题
• 之前单独用线程调proc.stdout.readline()没效果，本质也是没解决子进程端的缓冲问题，子进程没把内容推到管道里，readline自然就一直阻塞等数据
• 如果启动的是非Python写的子进程，要对应查进程的无缓冲输出参数，核心逻辑还是一致：让子进程不要把输出攒在自己的内存缓冲区里

内容的提问来源于stack exchange，提问作者szZzr