为什么我的GCP Pub/Sub出现50%消息重复投递的异常问题？

根因分析 #

1. 代码存在基础逻辑缺失：你贴出的代码仅定义了populateQueue订阅初始化函数，未显式调用执行，会导致本地消息队列永久为空，processQueueMessage每次取出的message为undefined，调用ack()/nack()时直接抛出异常，进程崩溃后本地持有的所有未确认消息都会超过ack deadline触发重投。
2. Node.js事件循环阻塞：如果你的7秒消息处理逻辑是CPU密集型同步代码，会完全占满Node.js单线程的事件循环，导致Pub/Sub客户端后台自动发送的ack延期请求、最终的ack请求都没有执行机会，Pub/Sub服务端收不到确认信息，超过600秒ack deadline后就会触发重投。
3. 异步处理逻辑未加await：如果你的处理逻辑是异步IO类型，未添加await会导致两个问题：要么还没处理完就提前调用ack()，后续处理失败也不会触发重投；要么递归调用processQueueMessage的速度远大于处理速度，大量异步任务堆积在事件循环中，挤占后台请求的执行资源，导致ack请求延迟发送甚至超时。

修复方案 #

• 补全populateQueue()调用，确保订阅逻辑正常启动。
• 优化处理逻辑避免阻塞事件循环：
  若为CPU密集型任务，将处理逻辑移到worker线程执行，避免占用主事件循环；
  若为异步IO型任务，给处理逻辑加上await，同时增加空队列判断避免空轮询，参考修改后的代码：

  const processQueueMessage = async () => {
    const message = queue.shift()
    if (!message) {
      setTimeout(processQueueMessage, 100)
      return
    }
    try {
      // 异步处理逻辑前加await
      await yourMessageProcessFunc(message)
      message.ack()
    } catch {
      message.nack()
    }
    processQueueMessage()
  }
  

• 显式配置客户端ack延期参数，避免自动延期异常：

  const subscription = pubSubClient.subscription('pipeline-input-sub', {
    flowControl: {
      maxMessages: 5
    },
    // 单位秒，设置最大自动延期时长，避免消息被无限延期
    maxAckExtensionPeriod: 1200
  })
  

• 若仍需要降低重复率，可以在创建订阅时添加--enable-exactly-once-delivery参数，开启Pub/Sub恰好一次投递特性，服务端会保证同一条消息只会被成功确认一次，从底层避免重复投递。

内容的提问来源于stack exchange，提问作者stkvtflw