配置RoundRobinPartitioner后Kafka Producer仍无法均匀分发消息至全部分区

针对你遇到的10分区Topic用RoundRobinPartitioner却只有5个分区收到消息的问题，以下是具体排查和解决步骤：

1. 确认Topic分区状态 #

先确保Topic的10个分区全部处于可用状态，用Broker端工具执行：

kafka-topics.sh --describe --topic <你的Topic名称> --bootstrap-server <Broker地址>

检查每个分区的Leader和ISR列，若存在5个分区处于Offline或Leader不可用状态，生产者会自动跳过这些分区，导致只有可用的5个分区收到消息。

2. 验证分区器配置是否生效 #

• 检查生产者配置中partitioner.class是否正确设置为org.apache.kafka.clients.producer.RoundRobinPartitioner，注意类名大小写和拼写，避免因配置项写错导致默认分区器（按Key哈希）生效。
• 排查代码或配置文件中是否存在重复的partitioner.class配置，确保正确的配置未被覆盖。

3. 检查生产者实例数量 #

如果启动了5个独立的生产者实例，每个实例会维护自己的轮询计数器，可能出现每个实例固定向2个分区发送消息的情况（10/5=2），整体看起来只有5个分区有数据。确保你使用的是单生产者实例，或者多实例场景下验证所有分区是否都被覆盖（多实例下总消息应分布到全部分区，只是每个实例负责部分）。

4. 排查代码中的隐性分区指定 #

确认发送消息时未在ProducerRecord中指定partition参数，比如避免类似以下代码：

// 错误示例：手动指定了分区，会覆盖RoundRobin逻辑
producer.send(new ProducerRecord<>("topic-name", 0, null, "message"));

即使未指定Key，若手动指定了固定分区或分区选择逻辑，会导致消息只流向指定分区。

5. 测试最小化场景 #

写一个极简测试程序排除业务代码干扰：

Properties props = new Properties();
props.put("bootstrap.servers", "your-broker:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("partitioner.class", "org.apache.kafka.clients.producer.RoundRobinPartitioner");
// 保留默认批量配置即可，无需强制设batch.size=0

try (Producer<String, String> producer = new KafkaProducer<>(props)) {
    for (int i = 0; i < 10000; i++) {
        producer.send(new ProducerRecord<>("your-topic", "test-message-" + i));
    }
    producer.flush();
}

发送完成后用以下命令查看各分区消息量：

kafka-run-class.sh kafka.tools.GetOffsetShell --topic your-topic --time -1 --bootstrap-server your-broker:9092

正常情况下各分区偏移量应大致相等，轮询分发生效。

6. 检查客户端版本已知问题 #

Kafka 3.1.2的RoundRobinPartitioner使用原子整数维护轮询计数器，本身是线程安全的，但可尝试升级到3.2.x或更高稳定版本，排除版本隐性bug。

关于轮询分发的可行性 #

正常情况下，单生产者实例使用RoundRobinPartitioner且未指定Key/分区，数千条消息完全可以实现轮询分发，各分区消息量差异极小。当前问题大概率是配置、环境或代码逻辑导致的。

内容的提问来源于stack exchange，提问作者harish bollina