Kafka 2.4版本REST Proxy API消息分区分布不均原因咨询

• 默认分区器的哈希取模逻辑：Kafka 2.4版本默认使用DefaultPartitioner处理分区分配。对于携带非空字符串Key的消息，分区器会先将Key转换为字节数组，通过Murmur2哈希算法计算哈希值，再对主题的分区总数（此处为2）取模，最终得到消息要发送的分区编号，公式为：

  分区编号 = Utils.murmur2(keyBytes) % numPartitions
  

• Key哈希值的分布巧合：你提供的几个Key中，前四个（41:46-300、41:45-300、41:44-300、41:43-300）经过Murmur2哈希计算后，得到的哈希值对2取模结果均为0；而Key 41:42-300的哈希值对2取模结果为1。这种哈希分布的巧合直接导致了消息在两个分区中的不均匀分配。

• 可选优化方向：如果需要让消息更均匀地分布到各个分区，可以尝试以下方式：

  • 通过Kafka REST Proxy发送消息时，直接在请求体中指定partition字段，手动分配分区
  • 调整Key的生成规则，让Key的哈希值能更均匀地覆盖所有分区范围
  • 若使用自定义客户端，可配置自定义分区器替代默认的分区逻辑

内容的提问来源于stack exchange，提问作者Demid Demidov