如何让Kafka基于多key实现数据在全部分区的均匀分配？

Kafka默认的分区计算逻辑为：对key的字节数组做murmur2哈希，取正值后对分区总数取模，公式为Utils.toPositive(Utils.murmur2(keyBytes)) % numPartitions。你遇到的分区分布不均问题，核心原因是key_1到key_12这类字符串的murmur2哈希值取模10后出现了严重的哈希碰撞，最终只有2个余数结果，所以所有消息都集中到了2个分区，剩余8个分区完全空闲。

• 自定义分区器，替换哈希算法
  放弃默认的murmur2哈希，改用XXHash、CityHash这类对字符串低碰撞的哈希算法做分区计算，能大幅提升哈希分布的均匀性。Java版自定义分区器核心示例代码如下：

  import org.apache.kafka.clients.producer.Partitioner;
  import org.apache.kafka.common.Cluster;
  import net.jpountz.xxhash.XXHashFactory;
  import java.util.List;
  import java.util.Map;
  
  public class UniformKeyPartitioner implements Partitioner {
      private final XXHashFactory hashFactory = XXHashFactory.fastestInstance();
  
      @Override
      public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
          List<Integer> availablePartitions = cluster.availablePartitionsForTopic(topic).stream().map(p -> p.partition()).toList();
          int partitionCount = availablePartitions.size();
          // 空key按默认逻辑分配，非空key用XXHash计算分区
          if (keyBytes == null || keyBytes.length == 0) {
              return (int) (Math.abs(System.nanoTime()) % partitionCount);
          }
          long hashVal = hashFactory.hash64().hash(keyBytes, 0, keyBytes.length, 0);
          return availablePartitions.get((int) (Math.abs(hashVal) % partitionCount));
      }
  
      @Override
      public void close() {}
  
      @Override
      public void configure(Map<String, ?> configs) {}
  }
  

  生产者配置中指定自定义分区器即可：

  partitioner.class=com.yourpackage.UniformKeyPartitioner
  

• 调整key的固定前缀
  如果不想修改分区器，可以给每个key添加固定的随机前缀，注意前缀必须和key一一绑定，不能每次发送都变化，否则会出现同key进入不同分区的问题，不符合基于key分区的语义要求。比如把key_1修改为a4f2_key_1，key_2修改为7h1k_key_2，通过前缀打乱原有哈希值，降低碰撞概率。
• 注意禁止直接使用Java原生String.hashCode()做分区计算，该方法的哈希碰撞概率远高于murmur2，反而会进一步加剧分区不均的问题。

内容的提问来源于stack exchange，提问作者Prasad