Snakemake重复输出日志信息，如何关闭该行为？

问题根源 #

pyesgf库默认日志输出级别过低，且其日志系统与Snakemake的输出机制存在冲突，导致导入SearchConnection后出现大量重复的警告、调试类冗余信息。

解决方案 #

方法一：配置pyesgf日志级别（推荐） #

在导入SearchConnection前，通过Python的logging模块调高pyesgf相关日志的级别，仅保留重要的错误或警告信息：

import logging
# 全局设置pyesgf日志级别为ERROR，仅输出严重错误
logging.getLogger("pyesgf").setLevel(logging.ERROR)
# 若需保留警告信息，可将级别设为WARNING
# logging.getLogger("pyesgf.search").setLevel(logging.WARNING)

from pyesgf.search import SearchConnection

将这段代码放在Snakefile的run块开头，或者单独的Python脚本中（若通过script调用），即可过滤绝大多数冗余输出。

方法二：临时重定向标准输出（针对pyesgf用print输出的场景） #

如果pyesgf的部分输出是通过print语句直接输出的，可临时重定向标准输出/错误流：

import sys
from contextlib import redirect_stdout, redirect_stderr

from pyesgf.search import SearchConnection

# 重定向到空设备，屏蔽该代码块内的所有输出
with open('/dev/null', 'w') as f, redirect_stdout(f), redirect_stderr(f):
    conn = SearchConnection("https://esgf-data.dkrz.de/esg-search", distrib=True)
# 后续操作恢复正常输出逻辑

注意：此方法会屏蔽代码块内所有输出，包括可能有用的错误提示，仅在确认无关键输出时使用。

方法三：Snakemake命令行参数（不推荐） #

运行Snakemake时添加--quiet参数，可同时抑制Snakemake自身和pyesgf的输出，但会屏蔽Snakemake的状态提示，不利于调试：

snakemake --quiet

验证示例（基于最小复现场景） #

以下是配置后的Snakefile示例，运行后将不再输出pyesgf的冗余调试信息：

rule all:
    input: "output.txt"

rule esgf_query:
    output: "output.txt"
    run:
        # 先配置日志级别
        import logging
        logging.getLogger("pyesgf").setLevel(logging.ERROR)
        
        from pyesgf.search import SearchConnection
        conn = SearchConnection("https://esgf-data.dkrz.de/esg-search", distrib=True)
        ctx = conn.new_context(project='CMIP6')
        open(output[0], 'w').write(f"Found {ctx.hit_count} datasets")

适用版本参考 #

• Snakemake: 7.x及以上版本
• pyesgf: 0.3.x及以上版本

内容的提问来源于stack exchange，提问作者Mark Payne