Google Cloud Composer UI中‘removed’状态任务反复出现消失问题咨询

我在使用Google Cloud Composer（基于Apache Airflow）时遇到了UI异常：部分标记为removed状态的任务会周期性出现后又消失。之前执行过cleanup、vacuum composer dags操作，想请教这个问题的原因和解决办法。

可能的原因及解决思路 #

• DAG解析缓存不同步
  执行vacuum composer dags清理旧DAG版本后，Airflow的DAG解析缓存可能残留旧任务元数据。而cleanup操作清理了数据库历史任务记录，但缓存刷新存在延迟，导致旧的removed任务状态在缓存更新时反复出现。

  • 解决：在Airflow UI的Admin > DAGs页面，点击对应DAG的Refresh按钮，强制重新解析DAG并刷新缓存。

• 元数据库残留记录未清理彻底
  vacuum composer dags仅清理对象存储中的旧DAG文件，但数据库内对应的任务实例记录可能未完全删除。Airflow调度器或UI查询数据库时读取到这些残留记录，配合缓存过期刷新，就会出现任务时隐时现的情况。

  • 解决：使用Airflow CLI命令彻底清理过期任务实例，例如：

    airflow db clean --clean-before-timestamp $(date -d "30 days ago" +%Y-%m-%dT%H:%M:%S)
    

• UI缓存过期策略导致状态不同步
  Airflow UI会缓存任务状态以提升加载速度，当后台cleanup操作清理了数据库记录，但UI缓存未及时失效，就会出现缓存中的旧状态（removed任务）与最新数据库状态交替显示的情况，表现为任务周期性出现消失。

  • 解决：在Composer环境配置中修改airflow.cfg的webserver_cache_timeout参数，缩短UI缓存过期时间，让状态更新更及时。

内容的提问来源于stack exchange，提问作者Vadym Urupa