Azure Event Hubs多接收器重复接收消息问题排查

你的预期本身有误 #

Azure Event Hub的同一消费组下，多个接收器实例会自动负载均衡分摊所有分区——每个分区只会被该组内的一个接收器独占处理，正常情况下不会重复消费。你预期“仅一个接收器接收所有消息”是不符合Event Hub设计逻辑的，除非只运行一个接收器实例。

重复消费的核心原因（即使有检查点） #

如果确实出现多接收器收到相同消息，大概率是检查点存储的配置问题：

• 5台VM的接收脚本是否共用同一个Azure Blob存储容器作为检查点存储？
  官方的EventProcessorClient依赖CheckpointStore（比如BlobCheckpointStore）来协调分区所有权和检查点。如果每台VM用了不同的存储容器，或者没正确配置共享存储，每个接收器都会认为自己是该消费组的唯一实例，会独立消费所有分区，自然会重复。
• 检查点是否真的生效了？
  去对应的Blob存储里看看，有没有生成{eventhub名称}/{消费组名称}/{分区ID}/checkpoint这类路径的文件。如果没有，大概率是存储权限没配对，脚本写不了检查点，每次新实例启动都会从头消费。

如何实现“单接收器处理所有消息” #

如果你确实需要单接收器处理全部分区（不推荐，会丧失并行处理能力，还存在单点故障风险），直接停掉其他4台VM的脚本，只留一个实例就行。

推荐的正确用法 #

如果要利用多VM提高处理能力，保持同一消费组+共享检查点存储的配置就好，5台VM会自动分摊32个分区，并行处理且无重复，这才是Event Hub的正确使用方式。

内容的提问来源于stack exchange，提问作者CrazyCoder