获取Dataflow向BigQuery流式插入成功状态的GCP日志查询语句

你的查询无效是因为流式插入BigQuery不会触发BigQuery的批量Load Job完成事件，你原来的语句针对的是BigQuery批量加载作业（如CSV/JSON文件导入），而Dataflow流式写入用的是InsertAll API，对应的日志结构完全不同。

以下是两种适配你场景的有效Log Explorer查询语句：

1. 捕获BigQuery端的流式插入成功日志 #

这个查询直接从BigQuery的日志中筛选成功的流式写入请求，适合确认数据已被BigQuery接收并处理：

resource.type="bigquery_dataset"
resource.labels.dataset_id="[REPLACE_WITH_YOUR_DATASET_ID]"
resource.labels.project_id="[REPLACE_WITH_YOUR_PROJECT_ID]"
protoPayload.methodName="google.cloud.bigquery.v2.TableDataService.InsertAll"
protoPayload.status.code=0

• protoPayload.status.code=0：表示请求处理完全成功，无错误
• 可以额外添加resource.labels.table_id="[YOUR_TABLE_ID]"来缩小到特定表的日志

2. 捕获Dataflow作业内的写入成功日志 #

如果你需要追踪Dataflow作业本身的批次写入状态，可以从Dataflow Worker的日志中筛选：

resource.type="dataflow_step"
resource.labels.job_id="[YOUR_DATAFLOW_JOB_ID]"
resource.labels.project_id="[REPLACE_WITH_YOUR_PROJECT_ID]"
logName="projects/[REPLACE_WITH_YOUR_PROJECT_ID]/logs/dataflow.googleapis.com%2Fworker"
textPayload:"Successfully inserted rows to BigQuery table"

• 这个语句匹配Dataflow Worker输出的"成功插入行到BigQuery表"的日志条目，能直接关联到你的Dataflow作业执行状态

内容的提问来源于stack exchange，提问作者Santanu Ghosh