多应用并发向GCP Pub/Sub发消息时消息与属性混淆问题排查

问题原因分析 #

GCP Pub/Sub服务端本身会严格保证单条消息的内容与属性的绑定关系，不会出现服务端层面的混淆，问题基本集中在发布端代码实现的线程安全问题，具体包括：

• 发布端复用了共享的消息构建对象：多个并发线程共用同一个PubsubMessage实例或其构建器，在未同步的情况下修改消息内容和属性，导致不同请求的内容/属性互相覆盖。比如App1的线程还未完成消息发送，App2的线程就修改了共享对象的属性，最终发送的消息出现内容与属性不匹配。
• 变量作用域不合理：消息内容、属性等核心变量被定义在类成员等共享作用域，而非每个发布请求的局部作用域，并发场景下不同线程的请求会互相覆盖变量值。
• SDK使用不规范：使用了非线程安全的客户端实例，或者批量发送消息时错误地混淆了消息条目，导致内容与属性对应关系错乱。

解决方案 #

针对上述原因，可采取以下修复措施：

• 为每个发布请求创建独立的消息对象：每次发送消息时，都新建PubsubMessage实例（或对应SDK的消息对象），禁止线程间复用该对象。例如Java中每次发送前都调用PubsubMessage.newBuilder().setData(...).putAttributes(...)构建全新实例，而非复用同一个builder。
• 隔离变量作用域：将消息内容、属性等变量定义在发布方法的局部范围内，避免使用类级别的共享变量，从根源上避免并发覆盖。
• 使用线程安全的客户端：确认使用官方推荐的线程安全Pub/Sub客户端SDK，若自行封装发送逻辑，需保证线程安全。批量发送时严格按照SDK规范构建消息列表，确保每条消息的内容与属性一一对应。
• 添加校验机制：在发布端为每条消息添加应用标识属性（如app-source: App1），接收端校验消息内容与标识属性的匹配性，发现异常时记录日志用于排查。
• 升级SDK版本：若使用的SDK存在已知的线程安全bug，升级至最新稳定版本修复潜在问题。

内容的提问来源于stack exchange，提问作者Raju Yadav