Python多线程执行子进程：控制台日志无法实时更新问题求助

需要实现一个Python函数满足以下需求：

• 可执行任意CLI命令，命令在独立子进程中运行
• 命令输出同时写入独立日志文件（多进程互不干扰）和实时输出到终端
• 支持耗时数小时的命令，且能实时显示动态更新的进度条/统计信息（原代码中进度条最后一行需等命令执行完成后才打印，动态内容无法实时输出）

原代码存在的核心问题：

• 子进程输出到管道时默认采用全缓冲，而非终端的行缓冲，导致以\r结尾的动态进度条无法实时输出，需等待命令执行完毕才会一次性打印所有内容
• 日志文件未做进程隔离，多进程运行时会互相覆盖或混合写入
• 终端打印未强制刷新，即使有输出也会被缓冲延迟显示
• 按行读取输出的逻辑无法处理无换行的实时更新内容

import subprocess
import threading
import sys
import os
from datetime import datetime

def read_output(stream, logfile, prefix):
    # 逐字符读取，适配\r结尾的动态进度条输出
    with open(logfile, "a", buffering=1) as log_file:
        while True:
            char = stream.read(1)
            if not char:
                break
            # 写入日志并立即刷新，确保实时落盘
            log_file.write(char)
            log_file.flush()
            # 终端输出并强制刷新，避免缓冲延迟
            print(f"{prefix}{char}", end='', flush=True)

def run_subprocess(command, logfile):
    try:
        # 配置子进程输出模式，禁用缓冲确保实时输出
        process = subprocess.Popen(
            command,
            shell=True,
            stdout=subprocess.PIPE,
            stderr=subprocess.PIPE,
            text=True,
            bufsize=1,
            # 强制子进程无缓冲输出（针对Python编写的命令）
            env=dict(os.environ, PYTHONUNBUFFERED="1")
        )

        # 初始化日志文件，写入启动信息
        with open(logfile, "w") as f:
            f.write(f"[{datetime.now()}] Started command: {command}\n")

        # 为stdout/stderr分别创建独立线程，添加前缀区分输出类型
        stdout_thread = threading.Thread(
            target=read_output,
            args=(process.stdout, logfile, "[STDOUT] ")
        )
        stderr_thread = threading.Thread(
            target=read_output,
            args=(process.stderr, logfile, "[STDERR] ")
        )
        stdout_thread.start()
        stderr_thread.start()

        # 等待子进程完成，再等待输出线程处理完剩余内容
        process.wait()
        stdout_thread.join()
        stderr_thread.join()

        if process.returncode != 0:
            raise subprocess.CalledProcessError(process.returncode, command)
    except subprocess.CalledProcessError as e:
        print(f"\n[ERROR] Command '{e.cmd}' returned non-zero exit status {e.returncode}.", flush=True)

def execute_command(command, logfile=None):
    # 自动生成唯一日志文件名（未指定时），避免多进程日志冲突
    if not logfile:
        timestamp = datetime.now().strftime("%Y%m%d_%H%M%S")
        logfile = f"cmd_log_{timestamp}.log"
    # 启动独立线程运行子进程，不阻塞主程序
    thread = threading.Thread(target=run_subprocess, args=(command, logfile))
    thread.start()
    print(f"Started thread for command: {command}, log file: {logfile}", flush=True)

# 示例调用：执行带动态进度的命令
execute_command("wget https://example.com/large-file.iso")
execute_command("python -c \"import time; i=0; while i<100: print(f'Progress: {i}%', end='\\r'); i+=1; time.sleep(0.1)\"")

1. 实时输出适配：

   • 替换按行读取为逐字符读取，解决\r结尾的进度条无法实时显示的问题
   • 终端打印时强制flush=True，确保内容立即输出到屏幕

2. 子进程缓冲禁用：

   • 设置bufsize=1启用行缓冲，text=True确保文本模式读取
   • 通过PYTHONUNBUFFERED环境变量强制Python子进程无缓冲输出；对于非Python命令，可在命令前添加unbuffer（Linux/macOS）或winpty（Windows），如unbuffer wget ...

3. 日志隔离处理：

   • 支持手动指定日志文件，或自动生成带时间戳的唯一文件名，彻底避免多进程日志冲突
   • 日志文件启用行缓冲并实时flush，确保输出内容立即写入文件

4. 线程与进程管理：

   • 子进程结束后调用join()等待输出线程处理完剩余内容，避免输出丢失
   • 为stdout/stderr添加专属前缀，方便区分不同类型的输出

内容的提问来源于stack exchange，提问作者crazywolf