在Kubernetes环境中通过BashOperator执行Airflow CLI命令的问题

针对Kubernetes Executor环境下无法通过CLI触发下游DAG的问题，推荐优先使用Airflow原生方案实现需求，无需调用CLI命令：

方案1：使用TriggerDagRunOperator（最推荐） #

这是Airflow官方提供的跨DAG触发算子，适配所有执行器类型，完全不需要依赖CLI环境，和原有CLI触发的行为一致。

实现代码 #

首先导入依赖：

from airflow.operators.trigger_dagrun import TriggerDagRunOperator

替换原有BashOperator即可：

my_task_1 = TriggerDagRunOperator(
    task_id="my_task_1",
    dag=dag,
    trigger_dag_id="dag_2_id", # 替换为你要触发的目标DAG ID
    wait_for_completion=False, # 不需要等待目标DAG运行完成即可标记当前任务成功，和原CLI逻辑一致
    reset_dag_run=False, # 若同逻辑日期目标DAG已存在运行实例，是否重置重跑，可按需调整
    conf={} # 要传递给目标DAG的参数，无额外参数可删除该配置项
)

方案2：特殊场景下执行CLI命令（不推荐） #

如果确实有强制需求要在Kubernetes任务中执行Airflow CLI，需要满足以下配置要求：

• 任务使用的Worker镜像必须和Scheduler、Webserver节点使用的Airflow镜像一致，内置完整Airflow运行环境
• 为Worker Pod配置和Scheduler完全一致的Airflow配置，包括元数据库连接串、执行器配置、认证配置等
• 为Worker Pod开通元数据库、Airflow核心服务的网络访问权限
  该方案会带来额外的安全风险和运维成本，非必要不建议使用。

方案3：调用Airflow REST API触发 #

如果需要更灵活的触发逻辑，也可以通过调用Airflow REST API实现DAG触发，使用SimpleHttpOperator发起POST请求到Airflow的/dags/{dag_id}/dagRuns端点即可，需要提前配置好API认证凭证。

内容的提问来源于stack exchange，提问作者Pierre Anken