输入数据变更时如何重跑指定时段的Airflow作业
问题背景
场景说明
- 上游作业从GCS同步的pub/sub主题(A)读取事件,经转换后按事件时间分区存储
- 流水线后续步骤需要将该数据与另一数据流(B)匹配,构建漏斗
- 约5%的主题A数据会出现延迟,最长延迟可达3小时
需求
- 每当特定小时的输入数据发生变更(即有延迟数据抵达)时,自动重跑对应小时的漏斗构建作业,已知Apache Falcon支持该类需求,想确认Airflow是否原生支持对应能力。
解答
Airflow原生完全支持这类基于数据变更触发分区重跑的需求,不用额外依赖第三方框架,常用的落地方式有两种:
- 第一种是用Sensor搭配分区重跑机制:如果你的分区数据存在GCS,直接用原生的
GCSObjectUpdateSensor,设置监控对应小时分区的文件更新,poke间隔可以设成10分钟一次,超时时间设3小时刚好覆盖最长延迟窗口。Sensor检测到分区有新文件写入后,直接调用DagRun.clear()清除该小时分区的历史任务状态,就能自动触发对应分区的作业重跑。如果用的是其他存储,替换成对应存储的Sensor就行,逻辑完全一致,比如S3用S3KeySensor、HDFS用HdfsSensor。 - 第二种是走事件触发的方式,不用轮询:你可以在GCS分区的写入事件上加个回调,每次有新文件写入对应小时分区时,直接调用Airflow原生的REST API,把要重跑的小时分区作为执行参数传入,直接触发对应DAG的运行就行。
两种方案都是Airflow原生提供的能力,完全能匹配你当前的延迟数据重跑需求。
内容的提问来源于stack exchange,提问作者Vishnu
相关产品推荐
相关产品推荐

