You need to enable JavaScript to run this app. 输入数据变更时如何重跑指定时段的Airflow作业
优惠活动
大模型
产品
解决方案
定价
更多

输入数据变更时如何重跑指定时段的Airflow作业

问题背景

场景说明

  • 上游作业从GCS同步的pub/sub主题(A)读取事件,经转换后按事件时间分区存储
  • 流水线后续步骤需要将该数据与另一数据流(B)匹配,构建漏斗
  • 约5%的主题A数据会出现延迟,最长延迟可达3小时

需求

  • 每当特定小时的输入数据发生变更(即有延迟数据抵达)时,自动重跑对应小时的漏斗构建作业,已知Apache Falcon支持该类需求,想确认Airflow是否原生支持对应能力。
解答

Airflow原生完全支持这类基于数据变更触发分区重跑的需求,不用额外依赖第三方框架,常用的落地方式有两种:

  • 第一种是用Sensor搭配分区重跑机制:如果你的分区数据存在GCS,直接用原生的GCSObjectUpdateSensor,设置监控对应小时分区的文件更新,poke间隔可以设成10分钟一次,超时时间设3小时刚好覆盖最长延迟窗口。Sensor检测到分区有新文件写入后,直接调用DagRun.clear()清除该小时分区的历史任务状态,就能自动触发对应分区的作业重跑。如果用的是其他存储,替换成对应存储的Sensor就行,逻辑完全一致,比如S3用S3KeySensor、HDFS用HdfsSensor。
  • 第二种是走事件触发的方式,不用轮询:你可以在GCS分区的写入事件上加个回调,每次有新文件写入对应小时分区时,直接调用Airflow原生的REST API,把要重跑的小时分区作为执行参数传入,直接触发对应DAG的运行就行。

两种方案都是Airflow原生提供的能力,完全能匹配你当前的延迟数据重跑需求。

内容的提问来源于stack exchange,提问作者Vishnu

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.08 07:48:04