Python3中将subprocess的stdout、stderr实时输出到logger的技术咨询

核心思路为：不使用一次性读取全量管道输出的逻辑，而是通过独立线程实时逐行读取子进程的输出流，每读到一行内容就调用已配置好的logger实例打印，自动复用你已经配置完成的所有日志handler（控制台、文件等），实现流式实时输出。

完整实现步骤 #

• 确认你现有配置的logger实例可正常向多个目标输出，后续子进程的所有输出都通过该logger打印，即可自动复用已有配置。
• 封装通用的subprocess调用工具函数，内部启动子进程后开启独立线程读取输出流，避免阻塞主进程逻辑。

可直接复用的代码示例 #

import logging
import subprocess
import threading
from typing import Optional

# 此处为logger配置示例，实际使用时直接替换为你项目中已有的logger配置即可
logger = logging.getLogger("my_app")
logger.setLevel(logging.INFO)
# 控制台输出handler
console_handler = logging.StreamHandler()
# 日志文件输出handler
file_handler = logging.FileHandler("app.log")
# 统一日志格式
formatter = logging.Formatter("%(asctime)s - %(name)s - %(levelname)s - %(message)s")
console_handler.setFormatter(formatter)
file_handler.setFormatter(formatter)
logger.addHandler(console_handler)
logger.addHandler(file_handler)


def _read_stream(stream, log_level: int):
    """独立线程任务：实时读取子进程输出流并写入日志"""
    for line in iter(stream.readline, b''):
        # 可根据运行环境调整编码，Windows场景通常替换为gbk
        line_str = line.decode("utf-8", errors="replace").rstrip()
        if line_str:
            logger.log(log_level, line_str)
    stream.close()


def run_subprocess(command: str, cwd: Optional[str] = None, log_level: int = logging.INFO) -> int:
    """
    执行shell命令，实时将输出接入现有日志体系
    :param command: 待执行的shell命令
    :param cwd: 命令执行的工作目录，可选
    :param log_level: 子进程输出对应的日志级别，默认INFO
    :return: 子进程退出码
    """
    proc = subprocess.Popen(
        command,
        shell=True,
        cwd=cwd,
        stdout=subprocess.PIPE,
        # 如需区分stdout和stderr可移除该行，单独为stderr开读取线程
        stderr=subprocess.STDOUT,
        # 行缓冲配置，保证实时输出
        bufsize=1
    )

    # 启动异步线程读取输出流
    thread = threading.Thread(target=_read_stream, args=(proc.stdout, log_level), daemon=True)
    thread.start()

    # 等待子进程执行完成、流读取完毕
    proc.wait()
    thread.join()

    return proc.returncode

使用示例 #

if __name__ == "__main__":
    # 执行测试命令，输出会实时同步到控制台和日志文件
    return_code = run_subprocess("ping -c 4 baidu.com")
    logger.info(f"命令执行完成，退出码：{return_code}")

注意事项 #

• 部分程序默认向管道输出时会启用全缓冲而非行缓冲，会导致实时性降低，可在命令前添加unbuffer工具调用（如unbuffer your_command）强制子进程行缓冲输出。
• 如需区分stdout和stderr的日志级别，可去掉stderr=subprocess.STDOUT配置，分别为stdout和stderr各启动一个读取线程，stderr对应更高的日志级别如logging.ERROR即可。
• 代码中的解码编码需和运行环境的子进程输出编码匹配，避免中文乱码问题。

内容的提问来源于stack exchange，提问作者shikhanshu