如何抑制TensorFlow与XLA输出的STDERR日志信息？

问题背景 #

运行Python脚本时出现两条无法通过TF_CPP_MIN_LOG_LEVEL=3屏蔽的STDERR日志：

• WARNING: All log messages before absl::InitializeLog() is called are written to STDERR
• I0000 00:00:1701341037.989729 1542352 device_compiler.h:186] Compiled cluster using XLA! This line is logged at most once for the lifetime of the process.

使用环境：TensorFlow 2.15、Rocky Linux 9.3、CUDA 12.2/12.3、Python 3.9

解决方法 #

1. 屏蔽absl初始化前的警告 #

这条日志来自absl库的早期初始化阶段，TensorFlow的TF_CPP_MIN_LOG_LEVEL无法覆盖，可通过以下方式处理：

• 方法一：脚本开头设置absl环境变量
  在导入任何TensorFlow模块前，先配置ABSL_LOG_LEVEL：

  import os
  os.environ['ABSL_LOG_LEVEL'] = '3'  # 3对应ERROR级别，屏蔽WARNING及以下日志
  import tensorflow as tf
  

• 方法二：显式初始化absl日志并指定级别
  直接调用absl日志接口强制设置级别：

  import os
  os.environ['TF_CPP_MIN_LOG_LEVEL'] = '3'
  from absl import logging
  logging.set_verbosity(logging.ERROR)
  logging.get_absl_handler().python_handler().set_level(logging.ERROR)
  import tensorflow as tf
  

2. 屏蔽XLA编译日志 #

XLA的日志系统独立于TensorFlow的C++日志体系，需单独配置：

• 方法一：设置XLA_FLAGS环境变量
  在脚本开头添加：

  import os
  os.environ['XLA_FLAGS'] = '--v=0'  # v=0仅输出FATAL级别日志
  import tensorflow as tf
  

• 方法二：禁用XLA编译（不推荐，会影响性能）
  如果不需要XLA加速，可直接关闭：

  import tensorflow as tf
  tf.config.optimizer.set_jit(False)
  

完整示例脚本 #

import os
# 先配置所有相关环境变量
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '3'
os.environ['ABSL_LOG_LEVEL'] = '3'
os.environ['XLA_FLAGS'] = '--v=0'

# 初始化absl日志
from absl import logging
logging.set_verbosity(logging.ERROR)
logging.get_absl_handler().python_handler().set_level(logging.ERROR)

# 导入TensorFlow并执行业务代码
import tensorflow as tf
# 你的业务逻辑代码...

内容的提问来源于stack exchange，提问作者xxx yyy