Terraform创建含JSON类型BigQuery表通过PubSub订阅报错排查

问题根源 #

当前PubSub到BigQuery的自动Schema映射逻辑尚未适配BigQuery的实验性JSON类型。尽管你在AVRO Schema中添加了sqlType: "JSON"标识，但PubSub的BigQuery订阅服务仍会将其识别为STRING类型，与BigQuery表中定义的JSON类型产生冲突，从而抛出类型不兼容的错误。

可行解决方案 #

方案一：通过BigQuery视图做类型转换

1. 临时修改BigQuery表的data字段类型为STRING，确保PubSub订阅能正常写入数据
2. 创建视图将STRING字段转换为JSON类型：

CREATE OR REPLACE VIEW your_dataset.your_view AS
SELECT 
  PARSE_JSON(data) AS data,
  -- 保留其他字段
  * EXCEPT(data)
FROM your_dataset.your_table

3. 业务查询直接使用该视图即可获取JSON类型的data字段

方案二：在PubSub订阅中配置转换规则（Terraform实现）

利用PubSub订阅的transformation_config特性，在写入BigQuery前将字符串转换为JSON类型，需要确保Terraform Google Provider版本≥v4.0：

resource "google_pubsub_subscription" "bq_event_sub" {
  name  = "your-subscription-name"
  topic = google_pubsub_topic.your_topic.name

  bigquery_config {
    table           = "projects/your-project-id/datasets/your-dataset/tables/your-target-table"
    write_metadata  = false

    transformation_config {
      # 将AVRO中的string类型data字段转换为BigQuery JSON类型
      query = "SELECT CAST(data AS JSON) AS data, * EXCEPT(data) FROM message"
    }
  }
}

调整AVRO Schema建议 #

由于当前sqlType标识对实验性JSON类型的映射无效，可以简化AVRO Schema：

{
  "name": "data",
  "type": ["null", "string"],
  "doc": "Content of the event",
  "default": null
}

内容的提问来源于stack exchange，提问作者Jonas Laux