如何检测Airflow中卡住的任务并配置对应告警？

1. 确认基础指标上报配置 #

首先确保你的Airflow statsd采集链路正常，2.1.0版本原生支持任务运行时长指标上报：

• 检查airflow.cfg配置：statsd_on = True，statsd_host、statsd_port配置为你的statsd接收地址，确保airflow.task.running_duration指标可以正常上报到Datadog。
• 该指标会实时上报所有处于running状态的任务的已运行时长，自带dag_id、task_id、operator等维度标签，可直接用于监控配置。

2. Datadog告警规则配置 #

在Datadog监控后台新建阈值告警，按以下规则配置：

• 监控指标选择你上报的airflow.task.running_duration，可按需按dag_id、task_id拆分监控，适配不同任务的运行时长特性。
• 阈值设置可分为两级：
  • 普通告警：阈值设置为对应任务历史平均运行时长的3~5倍，比如日常跑10分钟的任务，超过30分钟即触发告警，提前识别潜在卡顿风险。
  • 紧急告警：全局配置超过2小时的运行任务直接触发告警，覆盖没有单独配置阈值的长尾任务。
• 通知对象配置到你们的值班群、相关负责人通知渠道，避免无人响应。

3. 兜底检测方案（避免指标漏报） #

如果存在Celery worker僵死、指标上报中断等极端情况，可额外添加元数据库层的检测作为兜底：

• 编写Datadog自定义检查脚本，定期查询Airflow元数据库的task_instance表，统计运行时长超过阈值的任务数量，上报自定义指标custom.airflow.stuck_task_count。

参考查询SQL：

SELECT COUNT(*) as stuck_task_num FROM task_instance 
WHERE state = 'running' AND start_date < NOW() - INTERVAL '2 HOURS';

• 配置只要custom.airflow.stuck_task_count大于0就触发告警，完全覆盖指标上报异常的场景。

4. 根源优化建议 #

除了监控告警，你可以直接配置自动终止逻辑从根源避免长时卡住的问题：

• 在DAG的默认参数中统一设置execution_timeout，比如execution_timeout=timedelta(hours=2)，超过该时长Airflow会自动杀死任务，无需人工干预。
• 额外补充Celery worker存活、Redis队列堆积的监控，很多任务卡住的根因是worker僵死、Redis连接异常导致的任务状态无法同步。

内容的提问来源于stack exchange，提问作者maxcountryman