混合使用Kafka与原生Event Hubs客户端时的分区选择问题

可以通过以下两种方式实现Kafka客户端与原生Event Hubs客户端的分区键计算逻辑一致：

方式一：使用Event Hubs官方Kafka分区器 #

Microsoft提供了适配Event Hubs哈希逻辑的Kafka分区器，让Kafka客户端在本地计算分区时使用与原生Event Hubs C#客户端完全一致的算法，确保同一分区键映射到相同分区。

• 配置步骤：
  1. 在Databricks环境中安装Microsoft Event Hubs Kafka客户端依赖包。
  2. 在Kafka生产者配置中添加：

     partitioner.class=com.microsoft.azure.eventhubs.kafka.partitioner.EventHubsPartitioner
     

  3. 发送消息时仅指定分区键（key），不要显式设置分区号。

此方式让Kafka客户端本地计算分区的逻辑与原生客户端对齐，避免跨客户端的结果差异。

方式二：委托Event Hubs服务端计算分区 #

如果希望完全由Event Hubs服务端处理分区分配（与原生客户端的行为一致），可以配置Kafka客户端不本地计算分区，仅传递分区键给服务端。

• 实现要点：
  1. 不要使用Kafka默认的DefaultPartitioner（它会用MurmurHash本地计算分区），也无需设置自定义分区器。
  2. 发送消息时，仅传入topic、分区键和消息内容，不指定分区参数。例如Scala代码示例：

     val producerRecord = new ProducerRecord[String, String](eventHubTopic, yourPartitionKey, messageContent)
     kafkaProducer.send(producerRecord)
     

  3. 确保Event Hubs的Kafka兼容模式处于启用状态（默认已启用）。

此时Event Hubs服务端会基于收到的分区键，使用与原生客户端一致的逻辑分配分区，完全避免客户端本地哈希带来的不一致问题。

关键注意事项 #

• 所有客户端（原生C#和Kafka）都不要手动指定分区号，否则会跳过自动分区逻辑，破坏事件顺序的一致性。
• 确保Databricks中使用的Kafka客户端依赖版本与Event Hubs服务版本兼容，避免出现兼容性问题。

内容的提问来源于stack exchange，提问作者MrPanucci