如何将Cloud Storage自定义元数据传入通知并用作Pub/Sub排序键

你的自定义元数据设置正确性确认 #

你的写法是正确的，blob.metadata = { "file_capture_time": some_timestamp_var } 可以将自定义元数据成功绑定到GCS对象上，上传完成后元数据会和对象持久关联。

1. 配置GCS存储桶的Pub/Sub通知 #

要让对象创建时触发Pub/Sub消息，需给存储桶添加通知配置：

• 命令行方式：

  gcloud storage buckets notifications create gs://[你的存储桶名] \
    --topic=projects/[你的项目ID]/topics/[你的Pub/Sub主题名] \
    --event-types=OBJECT_FINALIZE \
    --payload-format=JSON_API_V1
  

  其中OBJECT_FINALIZE对应对象创建完成的事件，JSON_API_V1格式会包含对象的完整元数据信息。
• 控制台方式：进入存储桶详情页 → 「通知」标签 → 「创建通知」，选择目标Pub/Sub主题，事件类型选「对象最终化（创建）」，Payload格式选「JSON API v1」。

2. 确认自定义元数据随Pub/Sub消息传递 #

使用JSON_API_V1格式时，Pub/Sub消息的Payload里会包含对象的metadata字段，你的file_capture_time会出现在这个字段下，消息结构大致如下：

{
  "name": "目标对象名称",
  "bucket": "存储桶名称",
  "metadata": {
    "file_capture_time": "你的时间戳值"
  },
  // 其他对象属性...
}

3. 在订阅端用自定义元数据做排序键 #

要实现按file_capture_time排序消费，需创建有序订阅并在消费时解析元数据：

• 创建有序订阅：

  gcloud pubsub subscriptions create [你的订阅名称] \
    --topic=projects/[你的项目ID]/topics/[你的Pub/Sub主题名] \
    --enable-message-ordering
  

• 消费端处理示例（Python）：
  注意要确保file_capture_time是字符串格式（比如"2024-05-20T12:00:00Z"或数字字符串"1716216000"），Pub/Sub会基于排序键的字符串顺序传递消息：

  from google.cloud import pubsub_v1
  import json
  
  subscriber = pubsub_v1.SubscriberClient()
  subscription_path = subscriber.subscription_path("[你的项目ID]", "[你的订阅名称]")
  
  def callback(message):
      payload = json.loads(message.data.decode("utf-8"))
      capture_time = payload.get("metadata", {}).get("file_capture_time")
      
      # 基于capture_time排序处理消息
      print(f"处理消息，捕获时间：{capture_time}")
      
      message.ack()
  
  streaming_pull_future = subscriber.subscribe(subscription_path, callback=callback)
  try:
      streaming_pull_future.result()
  except KeyboardInterrupt:
      streaming_pull_future.cancel()
  

内容的提问来源于stack exchange，提问作者oikonomiyaki