如何清理Airflow界面Tree View，避免任务元数据无限累积？

嘿，这个场景我太熟悉了——高频外部触发的DAG确实容易把Tree View堆得满满当当，完全不用手动登元数据服务器删记录！给你分享几个最实用的方案，按优先级排序：

1. 配置自动保留策略（首推！一劳永逸） #

Airflow本身就支持自动清理旧的运行元数据，你只需要在DAG定义或全局配置里做些设置：

• 限制活跃运行数：在DAG里加max_active_runs参数，比如设为10，这样同时只会保留10个活跃的DAG运行，超过的旧运行会自动转为非活跃状态，Tree View里就不会挤爆了。
• 全局保留时长配置：修改Airflow的airflow.cfg文件，调整以下参数（默认都是30天，可根据需求改小）：
  • dag_run_retention_days：DAG运行记录的保留天数
  • task_instance_retention_days：任务实例记录的保留天数
• DAG级超时设置：给default_args加dagrun_timeout，超时的运行会被标记为失败，后续自动清理脚本会处理它。

举个DAG定义的例子：

from airflow import DAG
from datetime import datetime, timedelta

default_args = {
    'owner': 'your_team',
    'start_date': datetime(2024, 1, 1),
    'dagrun_timeout': timedelta(hours=2),  # 运行超过2小时就超时
}

with DAG(
    'external_triggered_dag',
    default_args=default_args,
    schedule_interval=None,  # 外部触发，所以关闭定时调度
    max_active_runs=10,  # 最多保留10个活跃运行
    tags=['external-trigger']
) as dag:
    # 这里放你的任务定义，比如PythonOperator、BashOperator等

Airflow默认会运行cleanup调度器任务，自动清理超过保留期的元数据，不用你手动触发~

2. 用Tree View自带的过滤功能（临时救急） #

如果暂时不想改配置，直接用界面上的过滤选项就能快速清爽Tree View：

• 点击Tree View顶部的「Filter」按钮，选择只显示「Active」或「Recent」的运行，把旧记录过滤掉
• 还能按状态筛选，比如只看成功/失败的运行，减少显示条目

3. 手动清理（万不得已才用） #

除非你需要立刻清空大量旧记录，否则不推荐手动操作——毕竟自动清理才是长久之计。如果真要手动处理，优先用Airflow CLI命令，比直接改数据库安全：

• 清理指定DAG超过7天的运行记录：

  airflow dags delete --dag-id external_triggered_dag --older-than 7d
  

• 清理对应任务实例：

  airflow tasks clear --dag-id external_triggered_dag --older-than 7d
  

要是必须直接操作数据库（比如PostgreSQL），记得先备份，再执行SQL：

-- 删除超过7天的DAG运行记录
DELETE FROM dag_run WHERE dag_id = 'external_triggered_dag' AND execution_date < NOW() - INTERVAL '7 days';
-- 删除对应任务实例
DELETE FROM task_instance WHERE dag_id = 'external_triggered_dag' AND execution_date < NOW() - INTERVAL '7 days';

总结一下：优先用自动保留策略，一劳永逸；过滤功能临时缓解；手动清理只作为紧急情况的备选，完全不用费劲登元数据服务器删记录~

内容的提问来源于stack exchange，提问作者aaron