使用subprocess.Popen将子进程stdout、stderr重定向到父进程的方法

核心原因 #

• 子进程输出缓冲：Python默认在输出目标不是终端（TTY）时开启块缓冲，日志量没达到缓冲区大小不会主动输出到管道
• 未主动读取管道：仅创建PIPE管道但没有持续读取内容，缓冲区满后子进程会被阻塞，也不会产生新的日志

调整方案 #

1. 调整Popen启动参数，禁用输出缓冲

启动Python脚本时添加-u参数，强制Python的stdout、stderr使用无缓冲模式直接输出到管道，同时非必要场景关闭shell=True避免额外的shell中转层带来的缓冲问题。
修改后的调用示例：

import subprocess
from subprocess import PIPE, STDOUT

res = subprocess.Popen(
    ["python3", "-u", "http_server.py"],  # 加-u参数禁用输出缓冲
    shell=False,  # 关闭shell中转，避免额外缓冲
    stdout=PIPE,
    stderr=STDOUT,
    stdin=subprocess.DEVNULL,  # 不需要给子进程传输入时直接关闭stdin即可
    close_fds=True,
    text=True  # 直接返回字符串，无需手动解码字节
)

如果必须使用shell=True，则把-u参数写到命令字符串中即可："python3 -u http_server.py"

2. 父进程启动独立线程持续读取管道输出

仅创建管道不会自动同步日志，需要单独启动守护线程持续读取子进程输出，合并到父进程日志中：

import threading

def merge_child_log(process, parent_logger):
    # 逐行读取子进程输出，直到子进程退出
    for line in iter(process.stdout.readline, ""):
        # 可加前缀区分子进程日志，方便全链路排查
        parent_logger.info(f"[HTTP后台服务] {line.strip()}")
        # 不需要logger的场景直接print也可实现日志合并：
        # print(f"[HTTP后台服务] {line.strip()}", flush=True)

# 启动日志读取线程，设置为守护线程，父进程退出时自动销毁
log_thread = threading.Thread(
    target=merge_child_log,
    args=(res, your_parent_logger_instance),
    daemon=True
)
log_thread.start()

可选兜底方案：修改子进程日志逻辑

如果不想修改启动参数，也可以在http_server.py的打印逻辑中手动开启flush：

# 打印时指定flush=True强制刷出缓冲区
print("收到GET请求，路径/index", flush=True)

如果使用logging模块打印日志，可以将StreamHandler的flush逻辑设置为每次打日志自动触发。

注意事项 #

不要在主线程直接调用res.communicate()，该方法会阻塞到子进程完全退出，后台常驻服务会直接堵死父进程的正常逻辑。

内容的提问来源于stack exchange，提问作者Zohar81