如何在Airflow DAG中删除变量？求正确实现方法及报错解决

错误原因分析 #

你之前的两种写法都错在没搞清楚Airflow变量的本质：

• del my_var只是删除当前Python进程里的本地变量，完全不影响Airflow存在元数据库中的全局变量
• Variable.delete(my_var)报错是因为你传的不是变量的名称字符串，而且my_var本身在当前上下文里没定义。Airflow的Variable.delete()方法需要传入变量的名字（字符串类型），而非变量对象或值。

正确删除Airflow变量的方法 #

首先要确保导入Airflow的Variable类：

from airflow.models import Variable

1. 删除单个变量

直接传入变量名称字符串即可：

# 删除名为"my_dag_var"的Airflow变量
Variable.delete("my_dag_var")

2. 批量删除多个变量

如果要删除多个变量，可遍历变量名称列表：

vars_to_remove = ["var1", "var2", "temp_dag_var"]
for var_name in vars_to_remove:
    try:
        Variable.delete(var_name)
        print(f"成功删除变量: {var_name}")
    except Exception as e:
        print(f"删除变量{var_name}失败: {str(e)}")

跨DAG延迟15天删除的实现方案 #

你需要两个DAG：一个负责创建变量，另一个负责延迟15天删除。

方案1：第二个DAG固定延迟启动

直接给第二个DAG的start_date设置为第一个DAG启动日期加15天：

from airflow import DAG
from airflow.models import Variable
from airflow.operators.python import PythonOperator
from datetime import datetime, timedelta

def delete_target_vars():
    vars_to_delete = ["var1", "var2"]
    for var_name in vars_to_delete:
        Variable.delete(var_name)

with DAG(
    dag_id="del_vars_after_15d",
    start_date=datetime(2024, 1, 1) + timedelta(days=15),  # 延迟15天启动
    schedule_interval="@once",
    catchup=False
) as dag:
    delete_task = PythonOperator(
        task_id="delete_vars",
        python_callable=delete_target_vars
    )

方案2：由第一个DAG触发第二个DAG并指定延迟执行

如果第一个DAG的执行时间不固定，可在第一个DAG中用TriggerDagRunOperator触发删除DAG，并设置15天的延迟：

# 第一个创建变量的DAG中添加触发任务
from airflow.operators.trigger_dagrun import TriggerDagRunOperator

trigger_del_dag = TriggerDagRunOperator(
    task_id="trigger_delete_dag",
    trigger_dag_id="del_vars_after_15d",
    # 传入延迟15天的执行日期
    execution_date="{{ execution_date + macros.timedelta(days=15) }}",
    wait_for_completion=False
)

# 将触发任务挂载到创建变量任务之后
create_vars_task >> trigger_del_dag

注意事项 #

• 执行DAG的Airflow角色需要有变量删除权限
• 可以先通过Variable.get(var_name, default_var=None)检查变量是否存在，避免删除不存在的变量报错
• Airflow变量存储在元数据库中，和Python本地变量完全是两个概念，不要混淆

内容的提问来源于stack exchange，提问作者saurabh shrivastava