Kafka消息均发往分区0问题排查：双密钥配置未生效求助

核心排查方向 #

1. 检查消息头是否强制指定了固定分区 #

你的代码中使用了copyHeaders(headers)，如果headers中包含KafkaHeaders.PARTITION_ID且值为0，Kafka会直接忽略消息key的分区逻辑，强制将所有消息发送到分区0。

验证方式：在发送消息前打印headers的内容，或在MessageHandler中添加日志，确认是否存在KafkaHeaders.PARTITION_ID头。
解决：若无需固定分区，移除headers中的KafkaHeaders.PARTITION_ID；若需按key分区，确保该头不存在。

2. 确认KafkaProducerMessageHandler的Topic配置 #

你的代码未显式为KafkaProducerMessageHandler设置目标Topic，需排查：

• kafkaTemplate的默认配置是否指定了正确的双分区Topic
• 两个MessageHandler是否都指向了同一个目标Topic
• 消息头KafkaHeaders.TOPIC是否被设置为其他Topic

验证方式：在handler中添加日志打印实际发送的Topic名称，或检查kafkaTemplate的producer配置。
解决：显式为每个handler设置目标Topic，示例：

handler.setTopic(topicProperties.getTargetTopic()); // 替换为你的双分区主题名

3. 验证两个MessageHandler的Key值是否正确注入 #

检查topicProperties.getProducerKey()和topicProperties.getProducerKeyOne()是否确实返回group_id和partition_1_key：

• 核对配置文件中对应的key值是否正确
• 在创建handler时添加日志打印获取到的key：

System.out.println("push handler key: " + topicProperties.getProducerKey());
System.out.println("process handler key: " + topicProperties.getProducerKeyOne());

解决：若注入值错误，修正配置文件或属性类的映射逻辑。

4. 验证Kafka分区器的实际行为 #

手动计算的MurmurHash2结果需与Kafka实际使用的分区器逻辑一致：

• 确认producer配置中是否自定义了partitioner.class，覆盖了默认分区逻辑
• 不同版本的Kafka默认分区器可能使用不同哈希算法，需匹配你的计算逻辑

验证方式：通过Kafka命令行工具查看消息的key和对应分区：

kafka-console-consumer.sh --bootstrap-server <你的broker地址> --topic <你的主题名> --property print.key=true --property print.partition=true --from-beginning

确认实际发送的key是否符合预期，以及对应的分区是否正确。

5. 检查MessageHandler的初始化完整性 #

确保KafkaProducerMessageHandler被正确初始化，若手动创建bean，需确认是否完成必要的属性设置（如afterPropertiesSet()调用，Spring通常会自动处理，但手动创建时需留意）。

内容的提问来源于stack exchange，提问作者Kiran Kumar