Python调用subprocess读取stdout阻塞 实时获取输出问题求解

你的推测完全正确，核心问题来自C标准库的默认输出缓冲策略：

• 当程序的标准输出指向交互式终端时，stdout默认使用行缓冲，每次遇到换行符就会主动将缓冲区内容写入底层文件/管道；
• 当标准输出指向管道、文件这类非交互式设备时，stdout会自动切换为全缓冲，只有缓冲区满（通常大小为4KB/8KB）、进程主动调用fflush、或者进程退出时，才会将缓冲区内容批量写出。

你设置的bufsize=1是Python侧读写管道的缓冲区参数，仅作用于Python进程内部的读写缓冲，完全不影响子进程C程序内部的用户态缓冲机制，所以不会生效。测试时communicate能正常拿到输出，是因为它会等待子进程退出，子进程退出时会自动刷出所有缓冲数据。

1. 修改子进程代码主动刷新缓冲 #

这是成本最低的方案，只需要在C代码的printf语句后主动调用fflush(stdout)强制刷出缓冲即可：

#include <stdio.h>
int main()
{
    int testInteger;
    printf("Enter an integer: \n");
    fflush(stdout); // 新增行，强制将输出写入管道
    scanf("%d", &testInteger);
    printf("Number = %d",testInteger);
    fflush(stdout);
    return 0;
}

修改后你原有的Python代码可以直接读到预期输出。

2. 用伪终端模拟交互环境（无需修改子进程） #

如果无法修改子进程代码，可以通过伪终端（PTY）模拟终端环境，让子进程认为自己的stdout是输出到终端，自动启用行缓冲。Python可以通过内置pty模块实现：

import pty
import os
import subprocess

# 打开伪终端主从设备
master_fd, slave_fd = pty.openpty()
# 子进程的输入输出都绑定到从设备
p = subprocess.Popen("./a.out", stdin=slave_fd, stdout=slave_fd, stderr=slave_fd, universal_newlines=True, close_fds=True)
os.close(slave_fd)

# 直接读取输出，不会阻塞
print(os.read(master_fd, 1024).decode())
# 写入输入
os.write(master_fd, b"123\n")
# 读取返回结果
print(os.read(master_fd, 1024).decode())

3. 实现非阻塞读取逻辑 #

如果需要完全避免读取操作阻塞，可以将管道文件描述符设置为非阻塞模式，没有内容可读时会抛出BlockingIOError，捕获后即可处理其他逻辑：

import subprocess
import fcntl
import os
import time

p = subprocess.Popen("./a.out", stdout=subprocess.PIPE, stderr=subprocess.PIPE, stdin=subprocess.PIPE, universal_newlines=True, close_fds=True)
# 将标准输出设置为非阻塞模式
fcntl.fcntl(p.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)

while True:
    try:
        char = p.stdout.read(1)
        if not char:
            # 子进程已退出，读取结束
            break
        print(char, end="")
    except BlockingIOError:
        # 暂时无数据，可执行其他任务
        time.sleep(0.01)
        continue

注意：该方案仅实现非阻塞读取，仍然需要配合前面的缓冲刷新方案（修改子进程代码/使用PTY）才能实时拿到数据。

内容的提问来源于stack exchange，提问作者Leonardo