Python如何实时读取未主动刷新缓冲区的C++可执行程序输出？

我需要编写Python 3.7脚本，用来运行C可执行程序并实时打印其输出，但当C程序不主动刷新自身缓冲区时遇到了问题。

可正常工作的场景 #

以下C++程序（通过g++ -o main main.cpp编译）和Python脚本可以正常实时输出，原因是std::endl会自动刷新流缓冲区：

C++代码（main.cpp）

// main.cpp
#include <chrono>
#include <iostream>
#include <thread>

int main() {
    for(auto i = 0; i < 100; ++i) {
        std::cout << "i = " << i << std::endl;
        std::this_thread::sleep_for(std::chrono::milliseconds{100});
    }
    
    return 0;
}

Python代码（run_main.py）

# run_main.py
import subprocess

def main():
    process = subprocess.Popen(["./main"], stdout=subprocess.PIPE, encoding="utf-8")

    while True:
        realtime_output = process.stdout.readline()
        if realtime_output == "" and process.poll() is not None:
            break
        if realtime_output != "":
            print(f"Python:: {realtime_output.strip()}", flush=True)

    process.wait()

if __name__ == "__main__":
    main()

出现问题的场景 #

如果把C++代码中的std::endl换成换行符"\n"：

std::cout << "i = " << i << "\n";

此时Python程序会等待C++程序完全终止后才一次性打印所有内容。我需要的是基于换行符逐行获取输出，并对每一行做后续处理（比如过滤）。

已尝试的无效方法 #

• 在subprocess中运行./main时添加-u参数，无效果
• 在Python脚本中使用print(..., flush=True)
• 调用process.stdout.flush()（注：这步无效是因为Python端无法刷新子进程的输出缓冲区）

补充说明 #

我知道可以通过process.stdout.read()读取全部内容后手动按\n拆分缓冲，但想了解有没有内置方法可以实现逐行实时捕获。

解决方案 #

方法1：修改C++程序禁用缓冲 #

在C++程序开头添加以下代码，强制禁用std::cout的缓冲：

std::cout.setf(std::ios_base::unitbuf);

或者使用std::flush手动刷新（仅刷新缓冲区，不额外添加换行）：

std::cout << "i = " << i << "\n" << std::flush;

方法2：Python端启用无缓冲读取 #

修改subprocess.Popen的参数，设置bufsize=0让Python直接无缓冲读取子进程输出，之后可自行按换行符拼接成完整行：

process = subprocess.Popen(["./main"], stdout=subprocess.PIPE, encoding="utf-8", bufsize=0)

方法3：用stdbuf强制C++程序行缓冲 #

在Linux环境下，通过stdbuf命令启动C++程序，强制其标准输出为行缓冲模式，这样输出\n时会自动刷新缓冲区：

process = subprocess.Popen(["stdbuf", "-oL", "./main"], stdout=subprocess.PIPE, encoding="utf-8")

-oL参数指定将标准输出设置为行缓冲，Python端无需额外修改即可实时捕获每一行输出。

方法4：优化读取逻辑 #

结合stdbuf和iter简化循环逻辑，更简洁地实现逐行实时读取：

import subprocess

def main():
    process = subprocess.Popen(["stdbuf", "-oL", "./main"], stdout=subprocess.PIPE, encoding="utf-8")
    
    for line in iter(process.stdout.readline, ''):
        if line:
            print(f"Python:: {line.strip()}", flush=True)
    
    process.wait()

if __name__ == "__main__":
    main()

内容的提问来源于stack exchange，提问作者mdf