Airflow中两个DAG之间传递任务顺序数据的可行解决方案咨询

方案1：使用Airflow自带元数据库自定义表存储 #

• 无需额外申请外部存储资源，直接在Airflow原生的元数据库中创建1张轻量自定义表，用于存储最新的任务执行顺序数据
• 操作逻辑：DAG1每5分钟运行时，通过DbApiHook连接元数据库，写入最新的任务顺序内容；DAG2每日运行的首个任务直接查询该表获取最新数据即可
• 优势：完全在Airflow现有能力范围内实现，不受外部存储权限限制，数据读写一致性有保障

方案2：利用集群共享本地文件系统存储 #

• 绝大多数Airflow集群都会为所有Scheduler、Worker节点挂载统一的共享目录（如NAS、EFS等），用于DAG文件同步、临时数据存储，DAG运行用户通常默认拥有该目录的读写权限
• 操作逻辑：DAG1生成的任务执行顺序文件直接写入该共享目录的固定路径，每次运行覆盖旧文件即可；DAG2运行时直接读取该路径下的最新文件
• 优势：实现逻辑最简单，和你原本生成文件的逻辑适配度最高，几乎不需要修改原有代码

方案3：运行时拉取XCom结合动态任务实现 #

• 你提到的XCom无法生效的问题，本质是因为将DAG2的任务依赖写在了DAG解析阶段，只要把任务生成逻辑移到运行时即可规避
• 操作逻辑：DAG1运行结束后将任务顺序写入XCom；DAG2的首个执行任务先拉取DAG1最近一次成功运行产生的XCom，拿到最新任务顺序后，用Airflow 2.x的动态任务映射特性生成后续的执行任务流
• 优势：不需要额外存储资源，完全用Airflow原生功能实现，不需要修改集群配置

方案4：使用企业内部公共中间件存储 #

• 如果你的Airflow实例有权限访问公司内部部署的Redis、MySQL等公共中间件，可以直接将任务顺序存入这类中间件
• 操作逻辑：DAG1每次运行后将最新的任务顺序写入中间件的固定Key/表中，DAG2运行时直接读取对应值即可
• 优势：性能好，可扩展性高，适合后续有更多跨DAG传数据需求的场景

内容的提问来源于stack exchange，提问作者Jwan622