Airflow Pool与视图DagRun状态不一致问题求助

问题原因 #

• 网格视图状态更新延迟：Airflow WebUI的网格视图存在状态缓存机制，当DagRun处于scheduled等待槽位时，前端可能未及时拉取元数据库的最新状态，误将其显示为running。
• 调度器与Web服务器状态不同步：调度器负责实际分配Pool槽位并更新任务状态到元数据库，而Web服务器从元数据库读取状态。如果元数据库状态更新滞后，或Web服务器缓存未失效，就会出现显示与实际状态不符的情况。
• DAG并发配置冲突：若DAG自身的concurrency配置值大于Pool的槽位数，调度器会先将多余的DagRun标记为scheduled等待资源，但前端可能提前将这些待执行实例显示为running。

解决方法 #

• 强制刷新Web页面：使用Ctrl+F5刷新网格视图页面，让Web服务器重新从元数据库拉取最新的DagRun状态，修正显示偏差。
• 调整Web服务器缓存参数：修改Airflow配置文件（如airflow.cfg）中webserver模块的webserver_cache_timeout参数，缩短缓存过期时间，确保状态及时同步。例如：

  [webserver]
  webserver_cache_timeout = 30
  

• 对齐DAG并发配置：将DAG的concurrency值设置为不超过Pool的槽位数，避免调度逻辑与显示逻辑冲突。示例DAG配置：

  from airflow import DAG
  from airflow.operators.dummy import DummyOperator
  from datetime import datetime
  
  default_args = {
      'owner': 'airflow',
      'start_date': datetime(2024, 1, 1)
  }
  
  with DAG(
      'sample_dag',
      default_args=default_args,
      concurrency=2,  # 与Pool槽位数保持一致
      schedule_interval='@daily'
  ) as dag:
      task1 = DummyOperator(task_id='task1', pool='your_pool_name')
      task1
  

• 重启Airflow服务：重启调度器和Web服务器，强制重新同步元数据库中的状态数据，解决长期的不同步问题。
• 直接验证元数据库状态：查询Airflow元数据库的dag_run表，查看state字段的真实值，确认DagRun的实际状态，以此为基准排查显示问题。例如SQL查询：

  SELECT dag_id, run_id, state FROM dag_run WHERE dag_id = 'your_dag_id';
  

内容的提问来源于stack exchange，提问作者Ashwani Singh