Airflow 2.6.0 UI任务状态缺失问题排查求助

数据库层面排查（优先重点） #

任务实际运行正常但UI无状态，核心可能是元数据写入/读取异常，先从Postgres入手：

• 检查数据库锁与阻塞：
  执行Postgres查询，查看是否有未授权的锁导致元数据更新阻塞：

  SELECT * FROM pg_locks WHERE NOT granted;
  

  如果发现长时间等待的锁，定位对应的进程（pid字段），确认是否是Airflow的进程，必要时可终止阻塞进程（需谨慎操作）。
• 校验任务实例元数据：
  查询task_instance表，筛选状态为空或异常的记录，对比Worker日志中实际运行的任务：

  SELECT task_id, dag_id, execution_date, state 
  FROM task_instance 
  WHERE state IS NULL OR state = '';
  

  如果找到对应任务，手动更新状态测试（例如UPDATE task_instance SET state = 'success' WHERE dag_id = 'xxx' AND task_id = 'xxx' AND execution_date = 'xxxx-xx-xxTxx:xx:xx';），看UI是否正常显示状态。
• 检查慢查询与连接数：
  • 开启Postgres慢查询日志，追踪与task_instance、dag_run相关的超时查询，确认是否存在元数据读写瓶颈。
  • 查看当前数据库连接数，确认是否达到上限：

    SELECT count(*) FROM pg_stat_activity WHERE datname = '你的Airflow数据库名';
    

    对比Airflow配置中的sql_alchemy_pool_size（默认5）和sql_alchemy_max_overflow（默认10），如果连接数接近Postgres的max_connections，调大这两个参数后重启服务。

Celery与Redis层面排查 #

• 检查Redis结果后端状态：
  用redis-cli连接Redis，执行以下命令验证：
  • INFO stats：查看Redis的命中率、内存使用情况，确认是否因内存不足导致键被淘汰。
  • KEYS "airflow:celery-task-meta:*"：查看是否存在任务结果元数据，若对应任务的键缺失，可能是Celery状态同步失败。
• 调整Celery相关配置：
  检查celery_result_expires配置，若过期时间设置过短，可能导致任务状态被提前清理，适当调大（比如从默认86400秒改成604800秒）。

Airflow调度器与Webserver配置排查 #

• 调度器查询参数调整：
  检查调度器配置max_tis_per_query，默认值5000，若DAG任务量较大，分页查询可能漏取任务实例，调大至10000后重启调度器测试。
• Webserver缓存刷新调整：
  修改Webserver配置worker_refresh_interval（默认300秒）为60秒，worker_refresh_batch_size（默认1）为5，让Webserver进程更频繁刷新任务状态缓存，重启Webserver后观察。

元数据一致性修复 #

• 手动同步任务状态：
  针对状态缺失的DAG，执行指定执行日期的回填（仅重置DAG运行状态，不重新执行任务）：

  airflow dags backfill --reset-dagruns -s 2023-XX-XXTXX:XX:XX -e 2023-XX-XXTXX:XX:XX your_dag_id
  

  完成后查看UI状态是否恢复。
• 检查DAG与任务实例关联：
  查询是否存在DAG运行成功但任务实例状态为空的情况：

  SELECT dr.dag_id, dr.execution_date, dr.state, ti.task_id, ti.state 
  FROM dag_run dr 
  LEFT JOIN task_instance ti ON dr.dag_id = ti.dag_id AND dr.execution_date = ti.execution_date 
  WHERE dr.state = 'success' AND ti.state IS NULL;
  

  若存在，可手动补全任务实例状态。

其他排查方向 #

• 版本补丁验证：
  Airflow 2.6.0存在部分已知的元数据同步bug，可升级到2.6.x系列的最新小版本（如2.6.3），小版本升级风险较低，能修复部分官方已确认的问题。
• 临时隔离日志影响：
  临时将日志存储从S3切换到本地（修改logging_config_class为默认配置），观察状态缺失是否消失，排除日志加载异常导致的UI渲染阻塞。

内容的提问来源于stack exchange，提问作者Flo