固定分区数动态消费者场景下Kafka吞吐量提升问题咨询

• 现有Kafka Topic配置6个分区，生产者采用round robin轮询策略向全分区写入消息，同一消费组下共部署4个消费者消费该Topic消息
• 压测观测到2个分区消费速度极慢、存在明显消息积压，其余4个分区几乎始终为空，核心诉求为尽可能提升整体消费吞吐量
• 待明确两个问题：
  1. Kafka默认的分区分配策略是什么？
  2. 后续负载升高时计划将消费者扩容至6个，实现消费者与分区1:1映射；当前仅部署4个消费者的场景下，为达到最优吞吐量，是否需要限制生产者仅向4个分区写入消息，待消费者扩容完成后再放开限制？

关于Kafka默认分区分配策略 #

不同版本默认策略有差异，核心逻辑如下：

• Kafka 2.4及更早版本，默认采用RangeAssignor（范围分配）策略：该策略以单个Topic为维度，先把对应Topic的所有分区按序号排序、同组消费者按名称字典序排序，再把连续的分区段划分给各个消费者。
  你现在遇到的部分分区积压、部分分区空闲的问题，基本就是这个策略导致的：6个分区分给4个消费者时，计算后会给排序靠前的2个消费者各分配2个分区，靠后的2个消费者各分配1个分区。而你的生产者是轮询写入，每个分区的消息流入量基本均等，相当于前2个消费者扛了2/3的总流量，后2个消费者只扛1/3，自然会出现负责双分区的消费者过载积压、负责单分区的消费者空闲的情况。
• Kafka 2.5及之后版本，默认策略替换为RangeAssignor+CooperativeStickyAssignor（协作式粘性分配）组合：粘性分配的核心逻辑是尽可能保留上一次的分区分配结果，减少重平衡时的分区迁移开销，同时会尽可能保证各个消费者分到的分区数、负载相对均等，能大幅降低你遇到的这类分配不均问题的概率。

关于是否需要临时限制生产者写入分区数 #

完全不需要做这类临时限制，这个操作反而会拉低整体吞吐量、增加不必要的运维风险，原因很明确：

1. 你现在遇到的积压问题根源是分区分配策略不合理，不是分区数过多。只要把消费组的分区分配策略调整为StickyAssignor（粘性分配）或者RoundRobinAssignor（轮询分配），就能让分区分配尽可能均衡，配合适当调大消费端max.poll.records参数、优化单条消息处理逻辑，完全可以在不修改生产者配置的前提下，充分利用4个消费者的全部算力消化6个分区的消息，不需要浪费2个分区的写入、存储能力。
2. 临时限制写入4个分区会直接把Topic的写入吞吐量上限砍低1/3，和你提升吞吐量的核心诉求相悖。而且等后续扩容到6个消费者时，你需要手动修改生产者配置放开写入限制，这个过程可能出现元数据刷新不及时、消息路由异常、分区流量突增等问题，徒增稳定性风险。
3. 只要使用粘性分配策略，后续扩容到6个消费者触发重平衡时，只会把现有4个消费者手上多余的2个分区迁移到新加入的消费者上，不会做全量分区重分配，重平衡的停顿时间极短，完全可以平滑完成扩容，不需要提前做写入侧的特殊调整。

内容的提问来源于stack exchange，提问作者thepaulbot