如何用TQDM跟踪子进程输出行数以实现实时进度条？

核心思路是捕获子进程的标准输出，逐行计数，同时用tqdm实时更新进度——因为已知输出行数固定，直接把总行数作为进度条的总目标即可。

实现代码 #

import subprocess
from tqdm import tqdm

# 替换为外部程序的固定输出行数
TOTAL_OUTPUT_LINES = 10000

# 启动外部程序并捕获stdout
proc = subprocess.Popen(
    ["your_external_program", "arg1", "arg2"],  # 替换为你的外部程序及参数
    stdout=subprocess.PIPE,
    stderr=subprocess.DEVNULL,  # 忽略无用的stderr，如需保留可改为subprocess.PIPE
    text=True,  # 将输出转为字符串（Python3.7+可用，替代旧版universal_newlines=True）
    bufsize=1  # 启用行缓冲，确保实时读取每行输出
)

# 初始化进度条并逐行更新
with tqdm(total=TOTAL_OUTPUT_LINES, desc="处理中") as pbar:
    for _ in proc.stdout:
        # 不打印输出内容，仅更新进度条
        pbar.update(1)

# 等待子进程结束并检查执行状态
return_code = proc.wait()
if return_code != 0:
    print(f"外部程序执行失败，返回码: {return_code}")

关键细节说明 #

• 用Popen而非run：subprocess.run()会等待进程完全结束才返回输出，无法实时跟踪进度；Popen能启动进程后持续读取输出流。
• 行缓冲设置：bufsize=1让子进程的stdout按行缓冲，确保每输出一行就能被Python捕获，避免进度条延迟更新。
• 过滤无用输出：直接遍历proc.stdout但不打印内容，既完成计数又不污染终端。
• 执行状态检查：通过wait()获取返回码，可快速判断外部程序是否正常退出。

额外注意事项 #

• 如果外部程序输出编码不是UTF-8，需在Popen中指定encoding参数（如encoding="gbk"）。
• 若需要同时处理stderr，可将stderr=subprocess.PIPE，但需注意避免死锁（可使用select模块或线程异步读取）。
• 如果实际输出行数与预期不符，可在循环结束后检查pbar.n与TOTAL_OUTPUT_LINES是否一致，输出警告信息。

内容的提问来源于stack exchange，提问作者Draconis