Airflow ExternalTaskSensor异常：持续轮询问题及配置疑问

问题背景 #

现有每日午夜运行的主ELT DAG，结构为 start >> extract_load_taskgroup >> transform >> end。extract_load_taskgroup 会为每个源系统调用无调度的外部 extract_load DAG。原流程中，extract_load_taskgroup 触发后直接执行 transform，未等待外部DAG完成。为此添加 externaltasksensor_group，包含对应每个外部 extract_load DAG的 ExternalTaskSensor 任务，但目前传感器在外部DAG已完成的情况下仍持续轮询。

1. check_existence 参数是检查目标DAG实例存在还是仅DAG/任务存在？ #

• check_existence 仅检查目标DAG或任务的定义是否存在，不负责验证是否有已运行/完成的DAG实例。
• 设为 True 时：如果指定的DAG或任务不存在，传感器直接失败，不会进入轮询流程；
• 设为 False（默认值）时：传感器会持续轮询，直到找到符合条件的DAG实例或触发超时。
• 你遇到的持续轮询问题，核心原因不是这个参数，而是执行日期未对齐导致传感器找不到匹配的外部DAG实例。

2. 由于外部DAG由主ELT DAG触发，是否需要对齐执行日期？若需要，该如何操作？ #

• 必须对齐执行日期。ExternalTaskSensor 默认会根据自身所在DAG的执行日期，查找同执行日期的外部DAG实例。如果外部DAG由主DAG触发，若执行日期不匹配，传感器会找不到目标实例，进而持续轮询。
• 具体操作：
  1. 触发外部DAG时传递主DAG执行日期
     使用 TriggerDagRunOperator 触发外部DAG时，显式将主DAG的执行日期传递给外部DAG：

     TriggerDagRunOperator(
         task_id="trigger_extract_load",
         trigger_dag_id="external_extract_load_dag",
         execution_date="{{ execution_date }}",
         wait_for_completion=False
     )
     

  2. 传感器中明确对齐执行日期
     在 ExternalTaskSensor 中，通过 execution_date_fn 参数指定使用主DAG的执行日期，确保传感器查找的实例与触发的外部DAG实例完全匹配：

     ExternalTaskSensor(
         task_id="wait_for_extract_load",
         external_dag_id="external_extract_load_dag",
         external_task_id=None,  # 设为None表示等待整个外部DAG完成
         execution_date_fn=lambda dt: dt,  # 直接复用当前DAG的执行日期
         check_existence=True,  # 可选，提前校验DAG是否存在，避免无效轮询
         poke_interval=60,
         timeout=3600
     )
     

内容的提问来源于stack exchange，提问作者user1699484