导入NumPy后重定向stdout时输出缓冲异常问题

问题场景 #

Mac系统下，Python脚本重定向stdout到文件时，导入numpy后即使使用print(..., flush=True)，内容也不会即时写入文件，需等待程序执行完毕才一并输出；直接输出终端或中断程序时内容正常显示。

核心原因 #

numpy在初始化阶段，其底层C扩展会调用系统函数修改stdout的缓冲模式为全缓冲（_IOFBF），这会覆盖Python层面的缓冲设置和手动flush操作。全缓冲模式下，只有当缓冲区填满或程序退出时才会刷新内容到文件，导致即时输出失效。

有效解决方法 #

方法1：导入numpy前强制设置stdout为行缓冲

在导入numpy之前，通过os.fdopen重新包装stdout，将其设置为行缓冲模式，避免numpy修改后导致全缓冲：

import sys
import os
# 提前设置stdout为行缓冲（参数1代表行缓冲）
sys.stdout = os.fdopen(sys.stdout.fileno(), 'w', 1)

import numpy
import time

print("start", flush=True)
time.sleep(1)
print("end")

方法2：直接操作底层缓冲区并强制刷新

绕开Python的print封装，直接写入stdout的buffer层并强制flush，不受numpy的缓冲设置影响：

import time
import numpy
import sys

# 直接写入字节流并强制刷新
sys.stdout.buffer.write(b"start\n")
sys.stdout.buffer.flush()
time.sleep(1)
sys.stdout.buffer.write(b"end\n")
sys.stdout.buffer.flush()

方法3：结合环境变量与前置缓冲设置

如果单独设置PYTHONUNBUFFERED环境变量无效，可结合方法1使用：

PYTHONUNBUFFERED=1 python3 test.py > test.txt

内容的提问来源于stack exchange，提问作者grepgrok