如何强制TensorFlow使用Python标准logging库处理其日志输出

你遇到的问题本质是：你调整的tf.get_logger()相关配置仅对TensorFlow Python层输出的日志生效，你看到的带.cc后缀的日志是TensorFlow底层C++模块直接输出到stderr的，默认不会走Python的logging链路，所以会出现格式不匹配、无法写入自定义FileHandler的问题。

以下两种方案都无需手动配置系统环境变量，无需重新编译TensorFlow，完全在代码内即可实现，符合你的需求： #

方案1：将所有TensorFlow日志接入Python logging系统 #

操作步骤：

1. 先完成你自定义的logging全局配置（包括格式、FileHandler、StreamHandler等所有需要的配置），再导入TensorFlow。
2. 导入TensorFlow前，在代码内动态写入环境变量，调整C++日志的输出规则：

import os
import logging
# 这里保留你自己的logging配置即可，以下为示例
logging.basicConfig(
    level=logging.INFO,
    format="%(asctime)s - %(name)s - %(levelname)s - %(message)s",
    handlers=[
        logging.FileHandler("app.log"),
        logging.StreamHandler()
    ]
)
# 动态设置TF C++日志规则，必须在import tensorflow之前执行
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '0' # 让C++层输出所有级别的日志，后续由Python logging统一过滤
os.environ['TF_CPP_LOG_TO_STDERR'] = '0' # 禁止C++层直接输出到stderr

3. 导入TensorFlow后，配置TensorFlow的Python logger，让日志向上传播到你配置的根logger：

import tensorflow as tf

tflogger = tf.get_logger()
tflogger.setLevel(logging.NOTSET)
# 移除TF默认的handler
for handler in tflogger.handlers[:]:
    tflogger.removeHandler(handler)
# 开启传播，日志会传递到根logger的handler中，使用你定义的格式
tflogger.propagate = True

配置完成后，所有TensorFlow的C++和Python日志都会走你配置的logging链路，格式和输出位置都会符合你的要求。 #

方案2：完全关闭所有TensorFlow日志 #

如果你不需要保留TensorFlow的日志，直接全部屏蔽，操作如下：

1. 同样在导入TensorFlow前动态设置环境变量：

import os
# 3表示C++层只输出FATAL级别的日志，几乎屏蔽所有C++日志输出
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '3'

2. 导入TensorFlow后，屏蔽Python侧的所有TensorFlow日志：

import tensorflow as tf
import logging

tflogger = tf.get_logger()
tflogger.setLevel(logging.CRITICAL + 1) # 设置为比最高级别还高，直接过滤所有日志
for handler in tflogger.handlers[:]:
    tflogger.removeHandler(handler)
# 增加空handler直接吞掉所有日志
tflogger.addHandler(logging.NullHandler())
tflogger.propagate = False

注意事项 #

• 所有对os.environ的修改必须在第一次导入tensorflow之前完成，因为TensorFlow底层C++模块在导入时就会读取环境变量配置，导入后修改不会生效。

内容的提问来源于stack exchange，提问作者Nathan.Eilisha Shiraini