Kafka Topic Partition 0未被使用的原因排查求助

这是个很常见的Kafka生产者分区分配问题，核心原因在于默认分区器的哈希取模逻辑刚好让你的三个key的哈希结果没有命中分区0，咱们一步步拆解来看：

1. 默认分区器的核心逻辑 #

Kafka默认使用DefaultPartitioner处理带key的消息分区分配，它的计算逻辑是：

• 先通过Murmur2哈希算法计算消息key的字节数组哈希值
• 对哈希值取绝对值后，再对分区数取模，得到最终的目标分区
  公式可以简化为：

int partition = Math.abs(Utils.murmur2(key.getBytes())) % numPartitions;

因为哈希算法的随机性，你的三个key（k1、k2、k3）的哈希值对3取模后，刚好只得到了1和2两个结果，所以分区0完全没被命中。

2. 验证这个结论 #

你可以用一段简单的Java代码验证每个key对应的分区：

import org.apache.kafka.common.utils.Utils;

public class KeyPartitionTest {
    public static void main(String[] args) {
        String[] keys = {"k1", "k2", "k3"};
        int totalPartitions = 3;
        
        for (String key : keys) {
            byte[] keyBytes = key.getBytes();
            int hashValue = Utils.murmur2(keyBytes);
            int targetPartition = Math.abs(hashValue) % totalPartitions;
            
            System.out.printf("Key: %s | 哈希值: %d | 目标分区: %d%n", key, hashValue, targetPartition);
        }
    }
}

运行这段代码后，你会看到k1、k2的目标分区是1，k3是2，这就解释了为什么分区0没被使用。

3. 解决办法 #

根据你的需求，有几种方案可以让分区0被利用起来：

方案一：自定义分区器 #

实现Kafka的Partitioner接口，手动控制key到分区的映射逻辑，比如让每个key对应固定的分区：

import org.apache.kafka.clients.producer.Partitioner;
import org.apache.kafka.common.Cluster;
import java.util.Map;

public class CustomPartitioner implements Partitioner {
    @Override
    public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
        String keyStr = (String) key;
        switch (keyStr) {
            case "k1":
                return 0;
            case "k2":
                return 1;
            case "k3":
                return 2;
            default:
                return Math.abs(Utils.murmur2(keyBytes)) % cluster.partitionCountForTopic(topic);
        }
    }

    @Override
    public void close() {}

    @Override
    public void configure(Map<String, ?> configs) {}
}

然后在Producer配置中指定这个分区器：

partitioner.class=com.yourpackage.CustomPartitioner

方案二：手动指定分区 #

在发送消息时，直接通过ProducerRecord的构造函数指定分区号：

// 发送k1到分区0
ProducerRecord<String, String> record = new ProducerRecord<>("your_topic", 0, "k1", "your_value");
producer.send(record);

方案三：调整key的取值 #

如果允许修改key的内容，可以更换成哈希取模能覆盖所有分区的key，比如将k1、k2、k3换成"key0"、"key1"、"key2"，这样它们的哈希取模结果大概率会命中0、1、2三个分区。

方案四：使用StickyPartitioner（Kafka 2.4+） #

如果你使用的是Kafka 2.4及以上版本，可以尝试配置粘性分区器：

partitioner.class=org.apache.kafka.clients.producer.StickyPartitioner

不过注意，粘性分区器对于固定key的消息仍然会按哈希分配，它主要优化的是无key消息的分区粘性（减少元数据请求），所以这个方案可能无法直接解决你的问题，但可以作为备选。

内容的提问来源于stack exchange，提问作者senseiwu