未指定消息key时Kafka跨分区消息分布极不均匀的原因是什么？

• 无key消息分区分布不均的核心原因：默认粘性分区器的设计逻辑
  Kafka 2.4及之后的版本默认将原有轮询分区器替换为粘性分区器，该分区器的设计目标是减少分区切换带来的请求开销，逻辑为：优先将同一个批次内的所有消息全部分配到同一个分区，直到当前批次写满或达到linger超时阈值，才会切换下一个分区。你使用的服务端2.7.1属于2.4之后的版本，Confluent.Kafka 1.5.3客户端也适配了该默认逻辑，每次调用API生成的5条消息属于同一个生产批次，会被绑定到同一个分区，频繁调用时粘性分区器也只会随机选择少量分区进行绑定，因此会出现12个分区仅4个收到消息的情况；单条发送大体积消息时，单条就占满一个批次，会长期绑定同一个分区，因此所有消息都落到同一分区。添加随机key后分区器会按key的哈希值计算分区，每个消息的哈希结果不同，分布自然恢复均匀。
• 指定Partitioner仍仅有少量分区被使用的原因
  Confluent.Kafka的多数内置分区器默认仍然会保留批量优化逻辑，只要消息是按批次发送，同批次消息仍会被分配到相同分区，仅修改分区器类型不会打破批量绑定逻辑，因此还是只有少量分区被写入。

Kafka架构设计中将分区策略归类为业务侧自定义逻辑，不同Producer的业务诉求差异极大：部分业务需要按用户ID哈希分区保证同用户消息的顺序性，部分业务需要轮询策略保证吞吐量均匀，部分特殊场景需要自定义规则指定固定分区。如果将Partitioner设为Topic级配置，会强制所有生产者使用同一套分区规则，反而会限制不同业务的接入灵活性，属于架构设计上的trade-off。

• 若需要严格保证无key消息均匀分布，可在ProducerConfig中显式指定分区器为Partitioner.RoundRobin，该分区器会逐消息轮询所有可用分区，无视批量优化逻辑，完全实现均匀分配。
• 若希望兼顾写入性能和相对均匀的分布，可调整Producer的批次参数：将batch.size调小（默认值为16384，可按需下调到1024~4096），或将linger.ms设为0，让粘性分区器更快切换目标分区，该方案性能损耗更低，但均匀性略弱于严格轮询。
• 生产环境优先推荐给消息添加合理的业务key，既能自主控制分区分布，也能保证同key消息的顺序性，是最通用的最佳实践。

内容的提问来源于stack exchange，提问作者Quido