如何持续读取非Python子进程的标准输出（Windows 10环境）

这问题本质是Windows控制台程序的输出缓冲机制导致的：当程序的stdout被重定向到管道时，系统会自动切换成全缓冲模式，只有缓冲满或者进程结束时才会输出内容。以下是针对subprocess和PyQt QProcess的具体解决办法：

一、使用subprocess模块的解决方案 #

核心思路是启用行缓冲，并改用逐行读取的方式避免等待缓冲填满：

import subprocess

# 启用行缓冲，text=True等价于universal_newlines=True（Python3.7+推荐用text）
popen = subprocess.Popen(
    ["my_process"],
    stdout=subprocess.PIPE,
    text=True,
    bufsize=1  # 设置为1启用行缓冲
)

# 用iter+readline循环读取，避免默认for循环等待缓冲满
for line in iter(popen.stdout.readline, ''):
    print(line, end='')  # 原输出已带换行，避免重复添加

popen.wait()

如果上述方法无效，可以尝试用ctypes修改控制台输出模式，强制关闭全缓冲：

import subprocess
import ctypes
from ctypes import wintypes

kernel32 = ctypes.WinDLL('kernel32', use_last_error=True)

def set_console_line_buffering(h_handle):
    mode = wintypes.DWORD()
    # 获取当前控制台模式
    if not kernel32.GetConsoleMode(h_handle, ctypes.byref(mode)):
        return False
    # 设置为控制台交互模式的缓冲策略
    mode.value = 0x0007  # 启用行输出相关的标志
    return kernel32.SetConsoleMode(h_handle, mode)

popen = subprocess.Popen(
    ["my_process"],
    stdout=subprocess.PIPE,
    text=True,
    creationflags=subprocess.CREATE_NEW_CONSOLE  # 给程序提供控制台环境
)

# 修改stdout的缓冲模式
h_stdout = popen.stdout.fileno()
set_console_line_buffering(h_stdout)

for line in iter(popen.stdout.readline, ''):
    print(line, end='')

popen.wait()

二、使用PyQt QProcess的解决方案 #

Qt框架下必须用信号槽异步监听输出，不能等进程结束再读取，否则会被缓冲阻塞：

from PyQt5.QtWidgets import QApplication, QMainWindow, QTextEdit
from PyQt5.QtCore import QProcess, QTextCodec
import sys

class MainWindow(QMainWindow):
    def __init__(self):
        super().__init__()
        self.output_view = QTextEdit()
        self.setCentralWidget(self.output_view)
        
        self.process = QProcess(self)
        # 根据目标程序的输出编码调整，比如GBK、UTF-8
        self.codec = QTextCodec.codecForName("UTF-8")
        
        # 连接输出就绪信号到处理函数
        self.process.readyReadStandardOutput.connect(self.on_stdout_ready)
        # 可选：监听进程结束事件
        self.process.finished.connect(lambda: self.output_view.append("=== 进程已结束 ==="))
        
        # 启动目标程序
        self.process.start("my_process")

    def on_stdout_ready(self):
        # 读取当前所有可用的输出数据
        raw_data = self.process.readAllStandardOutput()
        # 转换为字符串并显示
        output_text = self.codec.toUnicode(raw_data)
        self.output_view.insertPlainText(output_text)

if __name__ == "__main__":
    app = QApplication(sys.argv)
    window = MainWindow()
    window.show()
    sys.exit(app.exec_())

关键补充 #

Windows控制台程序的缓冲逻辑：

• 当stdout指向交互式控制台时，默认用行缓冲，输出一行就刷新一次
• 当stdout被重定向到管道/文件时，自动切换为全缓冲，只有缓冲满（通常4KB或8KB）或进程结束才会输出

上面的方法都是从调用方入手，要么强制切换回行缓冲模式，要么通过异步读取的方式，一有数据就处理，避免等待缓冲填满。

内容的提问来源于stack exchange，提问作者bgen