Airflow 2.0（Kubernetes部署）如何配置排除特定日志至Datadog？

在Kubernetes上的Airflow 2.0中，你可以通过两种核心方式实现排除pod_manager.py、base.py、base_aws.py、logging_mixin.py相关日志的需求：

方式一：通过Airflow日志配置过滤指定模块 #

Airflow基于Python的logging模块运行，你可以自定义日志配置来限制特定模块的日志输出级别，或直接过滤掉它们的日志。

1. 自定义日志配置文件
   创建或修改Airflow的日志配置文件（比如命名为custom_logging_config.py），在其中针对目标模块调整日志级别：

   from airflow.config_templates.airflow_local_settings import DEFAULT_LOGGING_CONFIG
   
   LOGGING_CONFIG = DEFAULT_LOGGING_CONFIG.copy()
   
   # 针对要排除的模块设置日志级别为WARNING及以上（低于WARNING的日志将被忽略）
   target_modules = {
       "airflow.kubernetes.pod_manager": "WARNING",
       "airflow.models.base": "WARNING",
       "airflow.providers.amazon.aws.hooks.base_aws": "WARNING",
       "airflow.utils.logging_mixin": "WARNING"
   }
   
   for module, level in target_modules.items():
       LOGGING_CONFIG["loggers"][module] = {
           "level": level,
           "handlers": LOGGING_CONFIG["root"]["handlers"],  # 复用根日志的handler（包含Datadog）
           "propagate": False
       }
   

   注意：请确认模块的完整路径是否正确（比如base_aws.py对应airflow.providers.amazon.aws.hooks.base_aws，需根据你的Airflow包结构调整）。

2. 让Airflow加载自定义配置
   在Airflow的环境变量中添加：

   AIRFLOW__LOGGING__LOGGING_CONFIG_CLASS=custom_logging_config.LOGGING_CONFIG
   

   确保该配置文件被挂载到Kubernetes Pod的Airflow可访问路径中（比如/opt/airflow/config/）。

方式二：通过Datadog Agent过滤日志 #

如果你的日志是通过Datadog Agent收集的，可以直接在Agent配置中添加过滤规则，排除包含指定文件名的日志条目：

1. 修改Datadog Agent的日志配置
   在Agent的配置文件（如datadog.yaml或单独的日志收集配置文件）中添加：

   logs:
     - type: file
       path: /opt/airflow/logs/**/*.log  # 匹配Airflow日志文件路径
       service: airflow
       source: airflow
       filters:
         - type: exclude
           pattern: 'pod_manager\.py|base\.py|base_aws\.py|logging_mixin\.py'
   

   该规则会直接过滤掉日志内容中包含这些文件名的条目，减少发送到Datadog的日志量。

两种方式中，方式一更精准（基于Python模块层级控制日志），而方式二更适合快速过滤，无需调整Airflow核心配置。

内容的提问来源于stack exchange，提问作者suresh choudhary