Airflow通过StatsD无法发送全部指标，匹配规则引发性能警告

环境信息 #

• Airflow版本：2.3.0（使用Celery executor）
• StatsD Exporter版本：0.22.8

Airflow的StatsD配置（airflow.cfg） #

[metrics]
# StatsD integration settings.
# Enables sending metrics to StatsD.
statsd_on = True
statsd_host = localhost
statsd_port = 8125
statsd_prefix = airflow

StatsD Exporter启动命令 #

./statsd_exporter --statsd.listen-udp=":8125" --statsd.listen-tcp=":8125" --statsd.mapping-config="/tmp/statsd_exporter-0.22.8.linux-arm64/statsd_mapping.yml"

问题现象 #

使用databand-ai的airflow-dashboards项目中的statsd.conf作为指标映射文件，启动statsd_exporter后出现大量回溯警告，触发警告的指标均无法被正常接收，其余指标工作正常。

警告日志示例 #

ts=2022-11-05T09:22:24.814Z caller=fsm.go:314 level=warn msg="backtracking required because of match. Performance may be degraded" match=*.dag_processing.processes
ts=2022-11-05T09:22:24.814Z caller=fsm.go:314 level=warn msg="backtracking required because of match. Performance may be degraded" match=*.scheduler.critical_section_busy
ts=2022-11-05T09:22:24.814Z caller=fsm.go:314 level=warn msg="backtracking required because of match. Performance may be degraded" match=*.dag.callback_exceptions
# 其余警告日志省略

解决方案 #

问题原因 #

StatsD Exporter的指标匹配规则存在歧义，当模糊匹配规则（如带多个*的规则）与具体规则顺序不合理时，会触发回溯逻辑，导致匹配失败且性能下降。

修复步骤 #

1. 调整规则顺序：在映射文件中，将具体指标的匹配规则放在最前面，模糊匹配规则（如包含多个*的规则）放在后面。例如：

   mappings:
     # 先放具体指标的规则
     - match: airflow.dag_processing.processes
       name: airflow_dag_processing_processes
     - match: airflow.scheduler.critical_section_busy
       name: airflow_scheduler_critical_section_busy
     - match: airflow.dag.callback_exceptions
       name: airflow_dag_callback_exceptions
     # 再放带通配符的模糊规则
     - match: airflow.dag_processing.last_runtime.*
       name: airflow_dag_processing_last_runtime
       labels:
         dag_id: "$1"
     - match: airflow.pool.open_slots.*
       name: airflow_pool_open_slots
       labels:
         pool_name: "$1"
   

2. 优化模糊匹配规则：避免使用过于宽泛的通配符组合，比如将*.dag.*.*.duration调整为更精准的airflow.dag.*.*.duration，减少匹配歧义。
3. 升级StatsD Exporter：考虑升级到最新版本，新版本对匹配引擎做了优化，能减少回溯问题的发生。
4. 验证修复效果：修改映射文件后重启StatsD Exporter，检查警告日志是否消失，并确认之前无法接收的指标是否能正常采集。

内容的提问来源于stack exchange，提问作者Deepika Juneja