如何将TensorFlow导入时的stderr信息重定向至stdout

解决方法 #

TensorFlow的初始化日志由底层C代码直接写入操作系统的stderr文件描述符，Python层面的redirect_stderr只能拦截Python代码的stderr输出，无法影响C的底层操作。要实现需求，需要直接操作文件描述符完成重定向：

import os
import sys

def redirect_tensorflow_logs():
    # 保存原始stderr的文件描述符
    original_stderr = os.dup(2)
    try:
        # 将stderr的文件描述符重定向到stdout
        os.dup2(sys.stdout.fileno(), 2)
        # 在此块内导入TensorFlow，其C++日志会输出到stdout
        import tensorflow as tf
    finally:
        # 恢复原始的stderr，避免影响后续输出
        os.dup2(original_stderr, 2)
        os.close(original_stderr)

redirect_tensorflow_logs()

# 验证后续stderr输出正常
print("测试错误日志", file=sys.stderr)

运行后，TensorFlow的初始化日志会输出到stdout，后续Python代码的stderr输出仍会正常流向原始stderr。

原方法失效原因 #

你之前使用的redirect_stderr(sys.stdout)仅对Python代码中通过sys.stderr输出的内容生效，但TensorFlow启动日志绕过了Python的sys.stderr包装，直接写入操作系统的stderr文件描述符，因此无法被拦截重定向。

替代方案的局限 #

• 设置os.environ['TF_CPP_MIN_LOG_LEVEL'] = '3'会直接屏蔽所有TensorFlow日志，丢失潜在的调试信息，增加后续维护难度；
• 使用python -m myprogram 2>&1会将所有stderr输出重定向到stdout，导致真正的错误日志与TensorFlow的普通日志混在一起，难以区分排查。

内容的提问来源于stack exchange，提问作者sixtyfootersdude