未分配Schema的Pub/Sub主题：如何查看消息格式构建BigQuery表

• 拉取并解析消息：使用gcloud命令行工具直接拉取主题内的消息，示例命令：

  gcloud pubsub subscriptions pull --auto-ack <你的订阅名称> --limit 10
  

  拉取到的消息会展示原始内容，若为JSON格式可直接识别字段；若为二进制格式，可尝试Base64解码后查看具体结构。

• 创建临时订阅测试：如果尚未创建订阅，先生成临时订阅用于拉取消息：

  gcloud pubsub subscriptions create temp-sub --topic <你的主题名称>
  

  完成消息查看后可删除临时订阅：

  gcloud pubsub subscriptions delete temp-sub
  

• 本地脚本解析：用简单代码拉取并解析消息，比如Python示例：

  from google.cloud import pubsub_v1
  
  subscriber = pubsub_v1.SubscriberClient()
  subscription_path = subscriber.subscription_path("<你的项目ID>", "<订阅名称>")
  
  def callback(message):
      print(f"消息内容: {message.data.decode('utf-8')}")
      message.ack()
  
  streaming_pull_future = subscriber.subscribe(subscription_path, callback=callback)
  try:
      streaming_pull_future.result(timeout=30)
  except TimeoutError:
      streaming_pull_future.cancel()
  

  运行脚本后可直观看到消息的字段结构，对应识别各字段的数据类型。

• BigQuery临时表辅助解析：先创建一个仅含data字段（STRING类型）的临时BigQuery表，通过Pub/Sub内置集成将消息写入该表，再用SQL函数解析字段，示例查询：

  SELECT 
    JSON_EXTRACT(data, '$.user_id') AS user_id,
    JSON_EXTRACT(data, '$.order_amount') AS order_amount
  FROM `<你的项目ID>.<数据集ID>.<临时表名称>`
  

  从查询结果确认字段类型后，即可创建匹配结构的正式BigQuery表。

内容的提问来源于stack exchange，提问作者markveg