如何屏蔽Dask Worker中特定的非托管内存占用过高警告？

以下几种方法可以帮你精准过滤掉这条特定的非托管内存警告，同时保留其他需要的日志：

方法一：自定义日志过滤器（精准匹配） #

通过自定义日志过滤器，只拦截目标警告信息，其余日志正常输出：

1. 编写Python过滤器类：

import logging

class UnmanagedMemoryWarningFilter(logging.Filter):
    def filter(self, record):
        # 精准匹配目标警告的关键词，避免误拦截
        return not (record.levelno == logging.WARNING and 
                   "Unmanaged memory use is high" in record.getMessage())

2. 在Dask Worker的yaml配置文件中添加日志过滤器配置：

logging:
  version: 1
  filters:
    unmanaged_memory_filter:
      (): 'path.to.your.filter.UnmanagedMemoryWarningFilter'
  handlers:
    console:
      class: logging.StreamHandler
      filters: [unmanaged_memory_filter]
      level: INFO  # 保留你需要的基础日志级别
  root:
    level: ERROR
    handlers: [console]
  loggers:
    # 针对需要保留警告/信息的模块单独设置级别
    distributed.scheduler:
      level: WARNING
    your.custom.module:
      level: INFO

方法二：调整警告触发阈值 #

如果警告是因为内存阈值设置过低导致的，可以提高非托管内存警告的触发阈值，从根源减少警告次数：

在yaml配置中添加：

distributed:
  worker:
    memory:
      unmanaged:
        warning: 0.95  # 设为接近内存上限的比例，比如95%，可根据实际情况调整

或启动Worker时通过命令行参数设置：

dask worker --worker-memory-unmanaged-warning 0.95

方法三：针对特定模块调整日志级别 #

直接将输出这条警告的distributed.worker_memory模块日志级别设为ERROR，屏蔽其警告输出，同时保留其他模块的警告：

在yaml配置中添加：

logging:
  version: 1
  loggers:
    distributed.worker_memory:
      level: ERROR
    # 其他需要保留日志的模块
    distributed.scheduler:
      level: WARNING
  root:
    level: ERROR

内容的提问来源于stack exchange，提问作者matt