创建Pub/Sub到BigQuery订阅失败：data字段不存在于表架构

问题原因 #

默认情况下，Pub/Sub创建BigQuery订阅时，会把消息的data字段（消息体）写入目标表，但你的BigQuery表中没有定义data字段，所以触发这个错误。

两种解决方法 #

方法1：修改BigQuery表结构，添加data字段 #

在你的目标表中添加data字段，类型可以选STRING（自动将字节串转成base64编码的字符串）或者BYTES（保留原始字节）。如果需要同时记录消息的其他元数据，也可以添加对应的字段，示例建表语句：

CREATE TABLE `projectId.dataset.table` (
  data STRING,
  attributes RECORD<key STRING, value STRING>, -- 消息的属性键值对
  message_id STRING, -- Pub/Sub消息ID
  publish_time TIMESTAMP -- 消息发布时间
);

修改完表结构后，重新执行你原来的订阅创建命令即可。

方法2：使用字段映射模板，自定义消息到表的映射 #

如果你的表不需要data字段，而是想直接解析消息体（比如JSON格式的消息）到表的对应字段，可以通过指定映射模板来实现：

场景A：Topic已关联Schema

如果你的Pub/Sub Topic已经定义了JSON Schema，直接执行命令时加上--bigquery-use-topic-schema参数：

gcloud pubsub subscriptions create subId \
  --topic=topicId \
  --bigquery-table=projectId.dataset.table \
  --bigquery-use-topic-schema \
  --bigquery-write-disposition=WRITE_APPEND

场景B：手动指定映射模板

如果Topic没有Schema，或者需要自定义映射，直接在命令中指定--bigquery-table-template参数，示例（假设消息是{"user_id":"123","event":"click"}，表有user_id和event字段）：

gcloud pubsub subscriptions create subId \
  --topic=topicId \
  --bigquery-table=projectId.dataset.table \
  --bigquery-table-template='{"fields": [{"name": "user_id", "type": "STRING", "mode": "NULLABLE"}, {"name": "event", "type": "STRING", "mode": "NULLABLE"}]}' \
  --bigquery-write-disposition=WRITE_APPEND

额外注意事项 #

• 如果消息是JSON格式，确保消息体是UTF-8编码的字符串，否则会导致解析失败。
• 确认Pub/Sub的服务账号（格式为service-${PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com）拥有目标BigQuery表的dataWriter或dataEditor权限，避免后续写入时报权限错误。

内容的提问来源于stack exchange，提问作者Spider