如何在Python中监控外部程序stdout并触发回调函数？

我需要监控一个非Python程序的标准输出（stdout），每当该程序向stdout打印内容时，触发Python中的回调函数来处理收集到的数据。目标程序的行为类似下面的dummy_script.py示例：

import datetime
import random
import time

i = 0
while True:
    line = f"{datetime.datetime.now()} {i}"
    print(line)
    i += 1
    time.sleep(random.uniform(0, 1))

我目前尝试的Python主脚本如下，但没法实现回调触发的功能：

from threading import Thread
import os


def do_stuff():
    command = f"python3 dummy_script.py"
    os.system(command)


thread = Thread(target=do_stuff)
thread.daemon = True
thread.start()

请问有没有办法实现这个触发回调的需求？

解决方案 #

当然可以实现，os.system无法满足需求是因为它只会执行命令并返回退出码，没办法捕获和实时读取程序的输出。我们可以用Python的subprocess模块来实现实时捕获输出并触发回调，以下是具体实现方式：

方法一：实时逐行读取输出并触发回调 #

使用subprocess.Popen创建子进程，通过管道捕获其stdout，然后在单独的线程里循环读取每一行输出，调用你的回调函数处理数据。这种方式也适用于非Python程序。

示例代码：

import subprocess
from threading import Thread

# 定义你的回调函数：处理每一行输出
def handle_output(line):
    print(f"回调触发，收到内容：{line.strip()}")

def monitor_program(command):
    # 启动子进程，捕获stdout，设置行缓冲避免延迟
    process = subprocess.Popen(
        command,
        stdout=subprocess.PIPE,
        stderr=subprocess.STDOUT,  # 可选：把stderr也合并到stdout一起处理
        text=True,
        bufsize=1,  # 行缓冲
        shell=True  # 如果命令是字符串形式需要设置；如果是列表形式（如["python3", "dummy_script.py"]）可去掉
    )

    # 循环读取每一行输出
    for line in process.stdout:
        if line:  # 跳过空行
            handle_output(line)
    
    # 等待进程结束并获取退出码
    process.wait()

if __name__ == "__main__":
    # 监控Python示例程序，换成非Python程序只需修改command即可
    command = "python3 -u dummy_script.py"  # -u参数禁用Python的输出缓冲
    # 启动监控线程
    monitor_thread = Thread(target=monitor_program, args=(command,))
    monitor_thread.daemon = True
    monitor_thread.start()

    # 主线程可继续执行其他任务
    input("按回车键退出...\n")

关键注意点 #

• 输出缓冲问题：很多程序（包括Python）默认会对stdout做缓冲，若程序输出频率低，可能出现延迟。解决方法：
  • Python程序：启动时加-u参数（如示例中的python3 -u dummy_script.py）禁用缓冲。
  • 非Python程序：用stdbuf命令强制行缓冲，比如stdbuf -oL ./your_program（-oL表示stdout行缓冲）。
• 线程的必要性：读取输出的操作是阻塞的，放在单独线程里可避免阻塞主线程的其他任务。
• 错误输出处理：若需要监控stderr，可设置stderr=subprocess.STDOUT把错误输出合并到stdout一起处理，或单独捕获stderr并处理。

非Python程序示例 #

如果要监控一个名为my_c_program的C程序，只需把command改成：

command = "stdbuf -oL ./my_c_program"

这样就能实时捕获其输出并触发回调。

内容的提问来源于stack exchange，提问作者alphalurch