Pulsar多分区主题消费：同Key消息是否分配至同一消费者？

问题复述 #

假设存在两个各含4个分区的主题T1与T2，采用key_shared订阅模式，由两个消费者（C1、C2）同时订阅这两个主题。T1和T2的每个分区都发布了携带K1、K2键的消息，需明确两个问题：

1. Pulsar是否能保证不同主题中相同键的消息会被分配至同一消费者？
2. 是否可能出现C1接收T1的K1消息、T2的K2消息，C2接收T1的K2消息、T2的K1消息的情况？

核心结论 #

• Pulsar 不保证不同主题中相同键的消息会被分配到同一个消费者。
• 完全可能出现你描述的C1接收T1-K1、T2-K2，C2接收T1-K2、T2-K1的情况。

原因解析 #

1. 独立的哈希计算逻辑：每个主题的key_shared订阅会独立计算消息键的哈希值。Pulsar的键哈希是基于主题与键的组合生成的，相同键在不同主题下会得到不同的哈希结果，进而可能被分配到不同的消费者。
2. 主题间的隔离性：T1和T2是完全独立的主题，它们的分区管理、消费者负载分配逻辑互相隔离。Pulsar不会在跨主题层面做键的一致性分配协调，每个主题的key_shared订阅仅在自身主题的消费者组内完成消息分配。
3. 动态负载再平衡：即便初始分配时相同键在两个主题恰好被分配到同一消费者，后续消费者重启、集群负载变化触发key_shared订阅的再平衡时，也可能打破这种巧合的一致性。

实现跨主题键一致性分配的方案（可选） #

如果业务需要确保跨主题相同键的消息分配到同一消费者，可通过以下方式实现：

• 自定义哈希规则：在生产者侧对消息键做统一处理，让相同键在不同主题下生成一致的哈希值，配合key_shared订阅实现分配一致性（需注意适配Pulsar的哈希逻辑）。
• 消费端二次路由：在消费层将不同主题的相同键消息转发至同一处理实例，不过这会引入额外的业务复杂度。

内容的提问来源于stack exchange，提问作者Victor Denisov