如何屏蔽第三方导入库的冗余日志?现有日志配置未生效求助
问题根因
你之前的设置不生效主要是三个原因:
- 目前只显式限制了
requests、dash两个logger的级别,但日志样例里的PngImagePlugin(Pillow组件)、selector_events(asyncio组件)、websockets相关的protocol/clientlogger都没有被单独限制,这些日志会默认冒泡到根logger。 - 你用的自定义
define_logging封装,大概率是把文件日志handler直接挂载在根logger上,且根logger级别开了DEBUG,所有未被单独限制的日志都会直接被捕获写入文件。 - 如果设置第三方logger级别的代码是在
define_logging初始化之后运行的,部分自定义日志封装会在初始化阶段覆盖根logger的配置,导致之前的级别设置失效。
可落地解决方案
1. 调整代码执行顺序
把所有第三方logger的级别限制代码,放在调用logger.define_logging()之前执行,避免初始化配置覆盖你的自定义设置。
2. 批量屏蔽冗余模块
Python的logging存在层级继承关系:比如websockets.protocol、websockets.client都是websockets的子logger,只要给父节点设置级别,所有子节点默认会继承规则,不需要逐个列名配置。
直接使用以下代码批量设置即可覆盖你日志样例中出现的所有冗余来源:
import logging # 收集所有需要屏蔽冗余日志的模块,可根据实际漏出的日志持续补充 NOISY_LOGGERS = [ "requests", "dash", "PngImagePlugin", # 匹配Pillow产生的图片解析日志 "websockets", # 匹配所有websockets库的子logger(protocol、client) "asyncio", # 匹配asyncio的selector_events等组件日志 "urllib3", # requests依赖的底层HTTP库 "werkzeug" # dash依赖的web服务组件 ] for logger_name in NOISY_LOGGERS: logger = logging.getLogger(logger_name) # 只放行WARNING及以上级别的日志,DEBUG全屏蔽 logger.setLevel(logging.WARNING) # 阻断日志冒泡到根logger,避免漏写进文件 logger.propagate = False
3. 配置兜底过滤规则
如果后续新增第三方依赖导致新的冗余日志出现,不需要反复补充屏蔽列表,可以直接给文件日志handler加过滤器,只放行属于你项目自身的日志:
# 替换成你自己项目的根包名,比如你的代码都在`my_project`包下就填"my_project" PROJECT_ROOT_NAME = "my_project" def project_log_only_filter(record): # 校验日志来源是否属于项目包,非项目日志直接拦截 return record.name.startswith(PROJECT_ROOT_NAME) # 拿到根logger下挂载的文件handler(自定义define_logging添加的第一个handler通常是文件日志) root_logger = logging.getLogger() file_handler = root_logger.handlers[0] file_handler.addFilter(project_log_only_filter)
这个方案可以从根上阻断所有非项目代码产生的日志,哪怕后续引入新的第三方库,也不会出现冗余日志写进文件的问题。
快速排查漏网日志的方法
如果仍有未被拦截的冗余日志,直接看日志行中间的模块名字段(即样例里- DEBUG -后面的名称),把这个模块名加到NOISY_LOGGERS列表里即可,不需要逐个排查依赖关系。
内容的提问来源于stack exchange,提问作者going_crazy
相关产品推荐
相关产品推荐

