GCP Pub/Sub多实例拉取订阅：如何避免重复处理文件？

针对你遇到的Spring Boot多实例重复处理GCS文件通知的问题，提供以下几种可行方案：

1. 正确使用Pub/Sub消息确认机制 #

Pub/Sub默认会将单条消息分发给单个订阅实例，但如果实例未及时确认消息，Pub/Sub会将消息重新分发给其他实例。

• 确保文件处理成功后再调用ack()确认消息，处理失败则调用nack()让Pub/Sub重新分发（或根据需求配置死信队列）。
• 根据文件处理耗时调整订阅的确认超时时间，避免因超时导致消息重发：

  gcloud pubsub subscriptions update YOUR_SUBSCRIPTION_NAME --ack-deadline=300
  

2. 使用独占订阅模式 #

创建独占模式的订阅，同一时间仅允许一个实例从订阅拉取消息，其他实例会等待当前实例断开后再接管：

gcloud pubsub subscriptions create YOUR_SUBSCRIPTION_NAME --topic=YOUR_TOPIC_NAME --exclusive

注意：若当前实例崩溃，Pub/Sub会在约10分钟后重新分配订阅，适合可容忍短暂停顿的场景。

3. 添加分布式锁控制 #

通过GCP服务实现分布式锁，确保只有一个实例能处理目标文件：

• 利用GCS文件元数据添加锁标记：实例收到消息后，尝试给目标文件设置processing-by元数据（值为实例ID），成功设置的实例才处理文件，处理完成后删除标记。
• 伪代码逻辑：

  StorageObject object = storage.get(BUCKET_NAME, FILE_NAME);
  if (object.getMetadata() == null || !object.getMetadata().containsKey("processing-by")) {
      object.getMetadata().put("processing-by", INSTANCE_ID);
      storage.update(object);
      // 执行文件处理逻辑
      processFile(FILE_NAME);
      // 释放锁
      object.getMetadata().remove("processing-by");
      storage.update(object);
      ack();
  } else {
      // 已被其他实例处理，直接确认消息
      ack();
  }
  

4. 实现处理幂等性 #

在业务逻辑中添加幂等校验，即使收到重复消息也不会重复处理：

• 记录已处理的文件ID到数据库（如Cloud SQL），每次处理前先查询是否已处理，若已处理则直接确认消息。
• 配置订阅的死信队列，将多次处理失败的消息转发到死信主题，避免重复循环消费。

内容的提问来源于stack exchange，提问作者Swapnil Patil