Airflow TaskFlow API任务依赖顺序异常问题求助

问题根源 #

你的代码存在重复定义依赖的问题：t4 = task4(t2) 这行已经让t4直接依赖t2，同时手动执行t3.set_downstream(t4)又让t4依赖t3，最终导致t4有两个上游节点，任务流自然不是预期的线性结构。

正确实现方式 #

方式1：纯TaskFlow参数传递（推荐）

TaskFlow API的核心是通过任务间的参数传递自动构建依赖关系，只需将前一个任务的输出作为后一个任务的输入即可，无需手动调用set_downstream：

t1 = task1()
t2 = task2(t1)
t3 = task3(t2)
t4 = task4(t3)  # 此处传入t3而非t2，让t4依赖t3

这样会自动生成t1 >> t2 >> t3 >> t4的线性依赖链。

方式2：手动设置依赖（无数据传递场景）

如果任务之间不需要传递数据，可直接通过链式操作或set_downstream手动构建依赖，注意不要重复定义：

t1 = task1()
t2 = task2()
t3 = task3()
t4 = task4()

# 链式写法（简洁直观）
t1 >> t2 >> t3 >> t4

# 或者使用set_downstream
# t1.set_downstream(t2)
# t2.set_downstream(t3)
# t3.set_downstream(t4)

内容的提问来源于stack exchange，提问作者Ragnar