Azure Event Hubs单消费组下多消费者同分区并行处理问题

方案1：使用PartitionReceiver直接指定分区消费 #

EventProcessorClient的核心是分区负载均衡，会自动把分区分配给不同的消费者实例，完全不匹配你的需求。你需要用更底层的PartitionReceiver，它可以明确指定要消费的分区，让每个消费者实例独立监听所有分区，从而拿到所有事件。

具体步骤：

1. 先获取Event Hub的所有分区ID列表
2. 为每个分区创建独立的PartitionReceiver实例
3. 每个Receiver单独接收对应分区的事件，并维护自己的消费偏移量（checkpoint）

以.NET SDK为例，代码示例：

// 初始化Event Hub客户端
var eventHubClient = new EventHubClientBuilder()
    .ConnectionString("<你的Event Hubs连接字符串>")
    .Build();

// 获取所有分区ID
var partitionIds = await eventHubClient.GetPartitionIdsAsync();

// 遍历分区创建Receiver并启动消费
foreach (var partitionId in partitionIds)
{
    var receiver = eventHubClient.CreatePartitionReceiver(
        consumerGroupName: "$Default", // 你的唯一消费组
        partitionId: partitionId,
        startingPosition: EventPosition.FromCheckpoint(await LoadCheckpointAsync(partitionId))); // 从已保存的checkpoint恢复

    // 启动事件接收循环
    _ = Task.Run(async () =>
    {
        while (true)
        {
            try
            {
                var events = await receiver.ReceiveBatchAsync(maxCount: 100, timeout: TimeSpan.FromSeconds(5));
                if (events.Any())
                {
                    // 执行当前消费者的专属业务逻辑
                    ProcessEventsWithSpecificLogic(events);

                    // 手动保存checkpoint，每个消费者必须独立存储偏移量
                    // 比如用Blob存储时，给每个消费者分配专属前缀："consumer-notify-type1/checkpoints/{partitionId}"
                    await SaveCheckpointAsync(partitionId, events.Last().Offset, events.Last().SequenceNumber);
                }
            }
            catch (Exception ex)
            {
                Console.WriteLine($"分区{partitionId}消费异常: {ex.Message}");
                await Task.Delay(TimeSpan.FromSeconds(2));
            }
        }
    });
}

关键注意点：

• 每个消费者要独立维护checkpoint，绝对不能共用存储路径，否则会互相覆盖偏移量，导致消费重复或丢失。
• 必须实现Receiver的异常重连逻辑，应对网络波动或临时故障。

方案2：临时过渡——单消费者内部分发逻辑 #

如果暂时无法切换到PartitionReceiver，可以在单个EventProcessorClient中，把接收到的事件转发到不同的处理模块（比如内存队列或轻量消息队列），每个模块对应一种处理逻辑。这种方式虽然没完全拆分独立消费者，但能解耦业务逻辑，等后续升级到Standard层（支持多个消费组）后，再拆分出独立消费者即可。

关于Basic层的限制说明 #

Basic层仅支持1个消费组，但每个分区最多允许5个并发读取器，这正是方案1的理论依据——每个消费者作为独立读取器，同时监听同一分区，就能实现全量消费。

内容的提问来源于stack exchange，提问作者Aitin