You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Airflow中是否存在支持BigQuery查询周期性校验的Sensor算子?

Airflow原生算子满足BigQuery查询等待校验需求
  • Airflow有原生支持你需求的算子:BigQuerySqlSensor(属于Google Cloud Provider插件)。
  • 这个算子就是专门用来周期性执行BigQuery SQL查询,直到查询结果满足预设条件才继续流程——默认要求查询返回至少一行数据,且第一行第一列的值为True;如果条件不满足,它会按照设置的poke_interval间隔重复查询,不会直接报错退出。
  • 比起你想到的「用BigQueryCheckOperator加重试」的方案,BigQuerySqlSensor是为「等待SQL条件达成」场景设计的Sensor类算子,逻辑更贴合需求,也符合Airflow的任务编排规范。
  • 简单使用示例:
from airflow.providers.google.cloud.sensors.bigquery import BigQuerySqlSensor

wait_for_valid_data = BigQuerySqlSensor(
    task_id='wait_for_valid_data',
    sql="SELECT COUNT(*) > 0 FROM your_dataset.your_table WHERE status = 'completed'",
    gcp_conn_id='google_cloud_default',
    poke_interval=60,  # 每60秒执行一次查询
    timeout=3600,  # 最长等待1小时,超时才触发报错
    mode='poke'  # 默认持续占用worker资源的poke模式,也可改用reschedule模式释放资源
)
  • 注意:需确保Airflow环境已安装apache-airflow-providers-google包,否则无法导入该算子。

内容的提问来源于stack exchange,提问作者Galuoises

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.08.11 06:35:30