Airflow如何实现S3KeySensor超时后触发其他Step Operator并继续DAG运行
实现方案
首先明确两个核心前提:
- 你已经开启的
soft_fail=True配置,本身就会让S3KeySensor超时后抛出AirflowSkipException而非AirflowSensorTimeout,任务被标记为skipped,不会中断整个DAG。 - 下游任务未自动触发的原因是Airflow默认触发规则为
all_success:只有上游全部成功时下游才会执行,上游为skipped时会自动阻断下游。
方案1:超时单独触发指定Step Operator(成功/超时走不同分支)
- 现有S3KeySensor配置无需调整,保留原有代码即可:
scan_results_sensor = S3KeySensor( task_id="key_sensor", bucket_key=key, wildcard_match=True, bucket_name=bucket, aws_conn_id='aws_default', timeout=120, poke_interval=30, soft_fail=True ) - 新增
BranchPythonOperator判断上游传感器状态,实现分支分流:def judge_sensor_result(**context): # 获取上游传感器的最终运行状态 sensor_state = context["dag_run"].get_task_instance("key_sensor").state if sensor_state == "skipped": # 超时走指定Step Operator分支 return "timeout_trigger_step" # 传感器正常检测到文件走原有业务逻辑 return "normal_business_task" branch_after_sensor = BranchPythonOperator( task_id="branch_after_sensor", python_callable=judge_sensor_result, trigger_rule="all_done" # 必须配置,否则上游skipped时分支任务不会执行 ) # 超时需触发的目标Step Operator timeout_trigger_step = YourCustomStepOperator( task_id="timeout_trigger_step", # 自定义配置按需填写 ) # 传感器正常检测到文件后执行的原有任务 normal_business_task = YourNormalTask( task_id="normal_business_task", # 自定义配置按需填写 ) # 配置任务依赖 scan_results_sensor >> branch_after_sensor branch_after_sensor >> [timeout_trigger_step, normal_business_task]
方案2:传感器成功/超时都触发Step Operator
- 无需新增分支逻辑,直接将目标Step Operator的
trigger_rule设置为all_done即可,该规则会在上游任务进入任意终态(成功/skipped)时触发执行:your_step_operator = YourCustomStepOperator( task_id="universal_trigger_step", trigger_rule="all_done", # 自定义配置按需填写 ) scan_results_sensor >> your_step_operator
异常排查补充
如果配置soft_fail=True后仍然抛出AirflowSensorTimeout错误,优先检查以下两点:
- 确认Airflow版本是否>=1.10.2,该版本前soft_fail的超时捕获逻辑存在兼容性问题
- 若在本地测试场景下执行,确认是否开启了
--reset_dagruns或其他绕过异常捕获的测试参数
内容的提问来源于stack exchange,提问作者Charlie Yeng
相关产品推荐
相关产品推荐

