如何禁用TFX及setuptools产生的无用日志与标准输出内容

1. 新增静默相关环境变量 #

在你原有最开头的环境变量配置段新增以下配置，必须放在所有第三方库导入之前执行，即可覆盖大部分TFX隐式调用setuptools、pip产生的输出：

import os
# 原有配置保留，新增以下内容
os.environ["SETUPTOOLS_SILENT"] = "1"
os.environ["DISTUTILS_DEBUG"] = "0"
os.environ["PIP_QUIET"] = "1"
os.environ["PYTHONWARNINGS"] = "ignore::UserWarning,ignore::DeprecationWarning"

上述环境变量会直接作用于setuptools、pip的全局执行逻辑，无需显式传参即可触发静默模式。

2. 全局patch子进程调用（覆盖所有漏网输出） #

TFX内部的构建、依赖同步逻辑大多是通过子进程实现的，你之前用contextlib重定向当前进程的标准输出/错误无法捕获子进程输出，因此可以在导入TFX前patch subprocess的核心调用方法，默认把所有子进程输出重定向到空设备：

import os
import subprocess
from functools import wraps

DEVNULL = open(os.devnull, 'w')

#  patch subprocess.run 方法
original_run = subprocess.run
@wraps(original_run)
def silent_run(*args, **kwargs):
    kwargs.setdefault('stdout', DEVNULL)
    kwargs.setdefault('stderr', DEVNULL)
    return original_run(*args, **kwargs)
subprocess.run = silent_run

#  patch subprocess.Popen 方法
original_popen = subprocess.Popen
@wraps(original_popen)
def silent_popen(*args, **kwargs):
    kwargs.setdefault('stdout', DEVNULL)
    kwargs.setdefault('stderr', DEVNULL)
    return original_popen(*args, **kwargs)
subprocess.Popen = silent_popen

# 完成patch后再导入TFX、TensorFlow等第三方依赖

3. 单元测试场景额外优化 #

如果是跑单元测试，可直接在测试命令中添加静默参数，进一步过滤冗余输出：
pytest -q --no-header --tb=short

注意事项 #

如果需要保留自定义日志，不要使用print输出，建议单独初始化专属logger并配置独立handler，不会被全局的日志屏蔽逻辑影响，示例如下：

import logging
my_logger = logging.getLogger("my_custom_pipeline")
my_logger.setLevel(logging.INFO)
# 配置独立输出handler
handler = logging.StreamHandler()
handler.setFormatter(logging.Formatter("%(asctime)s - %(name)s - %(levelname)s - %(message)s"))
my_logger.addHandler(handler)

# 后续用my_logger.info/debug输出自定义内容即可

内容的提问来源于stack exchange，提问作者gcarr7