如何编排Airflow DAG实现多任务并行执行后触发单次收尾任务？

我完全懂你遇到的糟心情况——本来想用TaskGroup把并行任务打包好，等全部跑完再执行一次收尾任务，结果收尾任务跟着分组里的每个任务各跑了一遍。结合你提到的视图误解和后续的问题，咱们一步步理清楚：

先修正代码里的关键细节 #

你当前代码里，TaskGroup内部的[task1, task2]这行其实没有实际作用，虽然TaskGroup默认会让内部任务并行，但咱们可以把代码写得更严谨，同时确保依赖关系的定义准确。修正后的代码如下：

import airflow
from airflow.utils.task_group import TaskGroup
from datetime import timedelta

# 假设你已提前定义好default_args、MyOperator、MyOtherOperator
with airflow.DAG(
    'my_dag',
    catchup=False,
    default_args=default_args,
    schedule_interval=timedelta(days=1),
) as dag:
    with TaskGroup(group_id='task_group_1') as tg1:
        task1 = MyOperator(
            task_id='task1',
            # 注意：TaskGroup内部的任务无需指定dag参数，TaskGroup会自动关联到所属DAG
        )
        task2 = MyOperator(
            task_id='task2',
        )
        # 无需额外写列表，TaskGroup会自动管理内部任务的并行关系

    final_task = MyOtherOperator(
        task_id="final_task"
    )
    # 明确设置：TaskGroup内所有任务完成后，触发收尾任务
    tg1 >> final_task

为什么树状视图会误导你？ #

Airflow的**树状视图（Tree View）会把TaskGroup拆解开展示每个任务的关联，看起来像是task1 -> final_task和task2 -> final_task，但这只是视图的展示逻辑——它实际想表达的是“final_task依赖于TaskGroup里的所有任务”。而图视图（Graph View）**才是准确反映依赖关系的，你看到Graph View显示正确，说明TaskGroup的依赖逻辑本身是没问题的。

收尾任务仍有错误的排查方向 #

如果Graph View显示依赖正确，但收尾任务还是存在异常，可以从这几个方向排查：

• Operator本身逻辑：检查MyOtherOperator的代码，看是否存在触发多次的逻辑，比如是否有基于上游任务实例的循环执行、重复提交任务的代码。
• 任务实例状态：查看Airflow UI里的任务实例日志，确认final_task的每次执行是不是真的由不同上游任务触发，还是有其他调度因素（比如DAG被意外重新触发、catchup被误开启）。
• TaskGroup作用域：再核对一遍代码缩进，确保final_task没有被不小心包含进TaskGroup的作用域内（你的代码里没有这个问题，但可以再确认）。
• Airflow版本兼容性：如果你的Airflow版本较旧，TaskGroup可能存在已知的依赖解析bug，尝试升级到2.x系列的稳定小版本。

最后再确认下：TaskGroup的标准行为就是等组内所有任务完成后，只触发一次下游任务，你最初的思路是完全正确的，只是被视图展示和可能的其他小问题干扰了。

内容的提问来源于stack exchange，提问作者CClarke