GCP BigQuery指定数据集日志经Sink无法投递至Pub/Sub订阅问题

故障由两个配置错误共同导致：

• 资源类型匹配完全错误：BigQuery表创建事件属于bigquery_resource资源类型的日志范畴，bigquery_dataset资源类型仅会产生数据集本身的操作日志（如创建数据集、修改数据集权限、删除数据集），不会关联任何表级操作事件。你之前在Log Explorer中用原过滤器查到的结果，全部是数据集级别的操作日志，并非你需要的表创建事件，自然不会有对应目标事件被路由到Pub/Sub。这也是你把过滤器改成全量匹配bigquery_resource后就能收到日志的核心原因。
• 过滤器逻辑存在优先级漏洞：GCP日志查询语法中AND的运算优先级高于OR，你编写的原始过滤器实际执行逻辑等价于：

  (resource.type="bigquery_dataset" AND resource.labels.dataset_id="dataset-name-1") OR resource.labels.dataset_id="finance_dataset"
  

  后半段匹配条件没有绑定任何资源类型约束，会匹配到所有携带finance_dataset标签的其他GCP资源日志，匹配范围完全失控。

你不需要调整Pub/Sub、Sink权限等其他配置（全量bigquery_resource过滤器可正常投递，说明整条链路的权限、连通性均正常），仅需替换日志Sink的包含过滤器即可，正确的过滤器配置如下：

resource.type="bigquery_resource"
AND protoPayload.methodName=~"google.cloud.bigquery.v2.*.InsertTable|google.cloud.bigquery.v2.JobService.InsertJob"
AND resource.labels.dataset_id IN ("dataset-name-1", "finance_dataset")

配置说明：

• 第一行固定匹配BigQuery资源类日志，覆盖所有表级操作事件
• 第二行通过正则匹配建表操作的方法名，同时覆盖两种建表场景：直接调用表接口创建表、通过查询/导入作业触发建表
• 第三行通过IN语法限定仅匹配两个目标数据集的事件，从语法上避免了OR带来的优先级问题，不会出现匹配范围溢出的问题

• 先将上述过滤器放到Log Explorer中执行查询，确认可以正常观测到两个目标数据集下的表创建事件，且无其他无关日志混入
• 保存Sink配置后，在任意一个目标数据集中创建测试表，10秒内即可在Pub/Sub订阅中拉取到对应的路由日志

内容的提问来源于stack exchange，提问作者George