如何实现Big Query定时查询执行完成后自动触发另一个定时查询
Google Cloud 数据流程自动化需求落地说明
现有已落地流程
当Google Cloud Storage存储桶内上传对应文件后,将触发2个Dataflow作业完成2张BigQuery表的数据加载;团队已通过Cloud Function结合Pub/Sub架构,配合日志过滤规则(匹配Dataflow作业的完成状态、目标BigQuery表标识),实现了Dataflow加载完成后自动触发对应表的BigQuery定时查询的能力。
现有Dataflow作业的过滤规则示例:
protoPayload.methodName="jobservice.jobcompleted" protoPayload.serviceData.jobCompletedEvent.job.jobStatus.state="DONE" protoPayload.serviceData.jobCompletedEvent.job.jobConfiguration.load.destinationTable.tableId="table_name" protoPayload.serviceData.jobCompletedEvent.job.referencedTables.datasetId="big query dataset name" protoPayload.serviceData.jobCompletedEvent.job.referencedTables.projectId="my project id"
当前新增需求
需在前置BigQuery定时查询成功执行完成后,自动触发后续关联的另一个定时查询。
落地过程卡点
- 尝试匹配作业完成状态、
data_source_id="scheduled_query"标识构建日志过滤规则时,会拉取项目下所有定时查询的运行日志,无法精准定位到目标前置定时查询的完成事件,初步尝试的过滤规则为:protoPayload.methodName="jobservice.jobcompleted" protoPayload.serviceData.jobCompletedEvent.job.jobStatus.state="DONE" protoPayload.serviceData.jobCompletedEvent.job.jobConfiguration.labels.data_source_id="scheduled_query" - 由于目标前置定时查询包含多条INSERT、UPDATE语句,无明确的可关联目标表ID可用于精准过滤,尝试通过匹配该定时查询内最后一条UPDATE语句的内容构建过滤规则时,未匹配到对应日志,无法识别特定定时查询的完成状态,新增查询匹配条件的过滤规则如下:
protoPayload.methodName="jobservice.jobcompleted" protoPayload.serviceData.jobCompletedEvent.job.jobStatus.state="DONE" protoPayload.serviceData.jobCompletedEvent.job.jobConfiguration.labels.data_source_id="scheduled_query" protoPayload.serviceData.jobCompletedEvent.job.jobConfiguration.query.query="UPDATE `whr-asia-datalake-nonprod.WHR_DATALAKE.CONSUMER_EXTRACT` CEXT SET CEXT.CUST_MOBILE=If ( length(SAFE_CAST(CEXT.CUST_MOBILE AS STRING))=10,SAFE_CAST(CONCAT('91',CEXT.CUST_MOBILE) AS Numeric),CEXT.CUST_MOBILE) WHERE TRUE"
当前阻塞状态
该需求即将上线生产,团队受限于上述问题无法推进落地,需获取可落地的生产级实现方案。
内容的提问来源于stack exchange,提问作者radhika sharma
相关产品推荐
相关产品推荐

