如何对从Azure Event Hub读取数据的Dapr组件扩容以实现分区并行处理

核心疑问解答 #

不需要多次部署同一个Dapr Event Hub绑定组件，也不需要为每个实例单独配置不同的绑定规则，目前有两种成熟的实现方案可以按需选择：

方案1：内置分区自动平衡（优先推荐，最优方案） #

当前1.8及以上版本的Dapr Azure Event Hub绑定组件已经原生支持消费者组分区自动分配能力，无需手动配置partitionID即可实现并行消费：

• 仅需在组件配置中填写connectionString、eventHubName、consumerID（消费者组名）必填参数，无需指定partitionID
• 直接在AKS中调整你的应用Deployment的副本数即可完成扩容，Dapr会自动将Event Hub的所有分区均匀分配给所有运行中的应用实例，不会出现重复消费的问题
• 扩容上限为Event Hub的分区总数，副本数超过分区数时多余副本会处于空转状态
• 该方案无需修改业务代码、无需维护多套配置，扩缩容操作仅需调整副本数，成本最低

方案2：手动指定partitionID（适合固定分区绑定的特殊场景） #

如果你的业务场景需要将特定实例固定绑定到指定分区，可以用以下方式部署：

• 共用同一套Dapr组件配置，通过环境变量注入的方式为不同实例传入不同的partitionID值即可，不需要创建多份绑定配置
• Dapr组件配置示例：

apiVersion: dapr.io/v1alpha1
kind: Component
metadata:
  name: eventhubs-input
spec:
  type: bindings.azure.eventhubs
  version: v1
  metadata:
  - name: connectionString
    value: "你的Event Hub连接字符串"
  - name: eventHubName
    value: "你的Event Hub名称"
  - name: consumerGroup
    value: "你使用的消费者组名"
  - name: partitionID
    value: "${PARTITION_ID}"

• AKS Deployment配置片段示例：

spec:
  containers:
  - name: 你的应用容器名
    image: 你的应用镜像地址
    env:
    - name: PARTITION_ID
      value: "0" # 不同实例对应修改为目标分区ID即可

• 若Event Hub共有N个分区，你只需部署N个对应PARTITION_ID的Deployment实例即可，不需要修改appId，若要避免自动分区平衡逻辑干扰，可以给每个实例配置独立的消费者组。

注意：手动指定partitionID的方案仅适合特殊场景，无特殊需求优先使用内置自动平衡方案即可。

内容的提问来源于stack exchange，提问作者Markus S.