如何为定时调度的DAG设置conf默认值且无需代码空校验

Airflow 原生支持你需要的 DAG 层级默认 conf 配置能力，无需在业务代码中做空值校验，也不需要硬编码默认值，对应配置参数为 params。

配置方式 #

在定义 DAG 时，直接向 DAG 构造函数传入 params 参数，值为键值对格式的字典，写入你需要的所有 conf 键名和对应默认值即可：

from airflow import DAG
from datetime import datetime

with DAG(
    dag_id="sample_dag",
    schedule="0 0 * * *",
    start_date=datetime(2023, 1, 1),
    # DAG 层级 conf 默认值配置
    params={
        "env": "prod",
        "task_concurrency": 3,
        "retry_limit": 2
    },
    catchup=False
) as dag:
    # 你的任务逻辑
    ...

核心特性 #

• 定时调度场景下，params 内的所有键值会自动注入到 DAG 运行时的 conf 上下文中，任务直接读取对应键即可，不会出现空值导致运行失败的问题
• 手动触发场景下，通过 UI、CLI --conf 参数、REST API 传递的自定义参数会自动覆盖 params 中的同键默认值，未手动传递的键仍使用默认值，完全兼容现有手动传参逻辑
• 所有 params 的键名和默认值会自动通过 Airflow 公开的 DAG 详情 API 对外暴露，无需额外开发适配

低版本适配 #

如果你使用的是 Airflow 2.3 以下的版本，将 params 配置放到 default_args 参数中即可生效，逻辑和上述完全一致。

内容的提问来源于stack exchange，提问作者user3583252