Datadog无法排除Airflow的INFO及健康检查日志问题求助
问题分析与修复方案
核心问题1:正则表达式的转义错误
你的配置里"\bINFO\b"存在JSON转义问题——在JSON字符串中,反斜杠\需要额外转义为\\,否则\b会被JSON解析器当作无效转义处理,导致正则表达式无法匹配到INFO关键词。
核心问题2:缺少健康检查日志的排除规则
当前配置只定义了排除INFO日志的规则,没有针对健康检查日志添加单独的排除规则,自然无法过滤这类日志。
修复后的完整配置
ad.datadoghq.com/worker.logs: '[{"source": "airflow","service":"airflow", "log_processing_rules": [ {"type": "exclude_at_match", "name": "exclude_info_logs", "pattern" : "\\bINFO\\b" }, {"type": "exclude_at_match", "name": "exclude_health_checks", "pattern" : "\\bhealth\\b" } ]}]'
额外优化建议
- 针对INFO日志,若想更精准匹配日志级别字段的
INFO,可调整正则为\\{.*\\} INFO -,避免误匹配日志内容中包含INFO的其他日志。 - 健康检查日志的正则可进一步精准化,比如用
GET \\/airflow\\/api\\/v1\\/health,避免匹配到其他含health的字符串。
内容的提问来源于stack exchange,提问作者Ramki
相关产品推荐
相关产品推荐

