如何为Google Cloud Logging转BigQuery接收器设置jsonPayload类型？

我已经配置了Google Cloud Logging到BigQuery的导出接收器，但遇到一个问题：首次接收日志时，BigQuery会自动根据jsonPayload的结构生成RECORD类型的Schema，比如发送这样的日志：

{
  "foo": "bar",
  "baz": 10
}

生成的Schema里jsonPayload会被解析成：

jsonPayload RECORD
  foo STRING
  baz FLOAT

但我需要把所有不同结构的jsonPayload统一存入同一张表，所以期望jsonPayload的类型是JSON，而非被拆解的RECORD。

我试过在日志里加入@type字段：

{
  "@type": "type.googleapis.com/google.protobuf.Struct",
  "foo": "bar",
  "baz": 10
}

但导出时这个字段只会被重命名为_type（STRING类型），并没有把整个jsonPayload识别为JSON类型。

正确解决方法 #

要实现这个需求，核心是提前手动创建BigQuery表并指定Schema，具体步骤：

1. 预创建BigQuery目标表
   在BigQuery中手动创建用于接收日志的表，将jsonPayload字段的类型设置为JSON，其他字段保持和Cloud Logging默认导出的Schema一致（比如timestamp为TIMESTAMP、logName为STRING等）。关键部分的Schema示例：

   CREATE TABLE `your-project.your-dataset.your-table` (
     timestamp TIMESTAMP,
     logName STRING,
     severity STRING,
     jsonPayload JSON,
     insertId STRING,
     resource RECORD,
     ... -- 其他需要的默认字段
   );
   

2. 修改Cloud Logging接收器设置
   编辑已有的导出接收器，将目标表指定为你刚手动创建的这张表，选择“使用现有表”模式，禁止自动创建表或修改Schema。
3. 验证导出效果
   发送不同结构的jsonPayload日志，检查BigQuery表中jsonPayload字段是否以JSON格式完整存储，且所有结构的日志都能正常写入。

注意事项 #

• 一旦手动指定了表的Schema，Cloud Logging导出时就不会再自动修改表结构，所有jsonPayload都会以JSON类型存入对应字段，完美适配多变的日志结构。
• 如果已经有自动生成的RECORD类型表，建议新建符合要求的表后切换接收器指向，避免修改现有表Schema引发的数据兼容问题。

内容的提问来源于stack exchange，提问作者mab