Python执行含Shell脚本时日志输出乱序问题求解

问题原因 #

输出顺序错乱的核心是缓冲机制不统一：Python的sys.stdout/sys.stderr默认是带缓冲的文件对象，而subprocess执行的bash脚本直接写入文件描述符时，缓冲策略与Python进程不一致，导致子进程的输出被提前刷入日志文件。

解决方案 #

方案1：启用行缓冲+手动刷新 #

修改日志文件的打开方式，使用行缓冲模式，并在执行子进程前手动刷新Python的输出缓冲，确保所有Python输出先写入文件：

import sys
import subprocess

# 以行缓冲模式打开日志文件（文本模式下buffering=1表示行缓冲）
with open(pathfile_log, 'a', buffering=1) as f:
    sys.stdout = f
    sys.stderr = f

    # 手动刷新缓冲，确保之前的Python输出写入文件
    sys.stdout.flush()
    sys.stderr.flush()

    # 子进程会继承重定向后的stdout/stderr，无需额外指定
    subprocess.run(str(test_sh_path), check=True)

注：用with语句可以自动管理文件关闭，避免资源泄漏。

方案2：底层文件描述符重定向 #

通过os.dup2直接重定向进程的文件描述符，让Python自身和子进程共享同一个文件描述符，从根源上保证输出顺序一致：

import os
import sys
import subprocess

# 打开日志文件，获取底层文件描述符
log_fd = os.open(
    pathfile_log,
    os.O_WRONLY | os.O_APPEND | os.O_CREAT,
    mode=0o644  # 设置文件权限，可根据需求调整
)

# 将stdout、stderr重定向到日志文件描述符
os.dup2(log_fd, sys.stdout.fileno())
os.dup2(log_fd, sys.stderr.fileno())

# 关闭原文件描述符，避免资源泄漏
os.close(log_fd)

# 执行子进程，自动继承重定向后的文件描述符
subprocess.run(str(test_sh_path), check=True)

方案3：禁用bash脚本的输出缓冲 #

由于bash -xe在非交互式模式下会启用输出缓冲，可以通过stdbuf工具强制禁用缓冲，确保脚本输出即时写入：

import subprocess

# 用stdbuf包裹脚本执行，-oL/-eL分别表示stdout/stderr行缓冲
subprocess.run(['stdbuf', '-oL', '-eL', str(test_sh_path)], check=True)

如果可以修改bash脚本，也可以在脚本开头添加：

# 禁用stdout/stderr的缓冲
exec 1> >(stdbuf -oL cat >> "$LOG_FILE")
exec 2> >(stdbuf -oL cat >> "$LOG_FILE")

方案选择建议 #

• 优先选方案1：实现简单，侵入性低，适合大多数常规场景。
• 对输出顺序要求极高时选方案2：底层文件描述符操作完全避免Python缓冲影响。
• 无法修改Python代码时选方案3：仅针对bash脚本的缓冲问题处理。

内容的提问来源于stack exchange，提问作者gerard.pi