如何配置Kafka Consumer，使自动扩缩容后总拉取消息数保持不变？

从你的描述来看，核心需求是：不管消费组里有多少消费者，每个消费者单次poll的总记录数要维持在100条——单个消费者负责10分区时，每个分区拉10条；新增消费者后各负责5分区时，每个分区拉20条，总条数还是100。你之前用max.poll.records和fetch.max.bytes没达到预期，问题出在对参数作用范围的理解，咱们来一步步解决：

问题根源：你用错了控制单分区拉取的参数 #

• fetch.max.bytes是全局总字节限制：控制单次fetch请求从所有分区拉取的总字节数，不是按分区分配，所以没法精确控制每个分区的拉取条数。
• 单独设置max.poll.records只能限制全局总条数，但如果不限制单分区的拉取上限，会出现部分分区拉满、其他分区拉不到的情况，导致每个分区的条数不稳定。

正确配置方案 #

要实现“总条数固定，分区数越少则单分区拉取条数越多”的效果，需要组合两个关键参数：

1. 全局总条数限制：max.poll.records=100 #

这个参数直接控制单次poll请求从当前消费者所有分配分区中拉取的最大总记录数。设置为100后，不管消费者负责5个还是10个分区，单次poll最多拉100条，刚好匹配你的需求。

2. 单分区拉取上限：max.partition.fetch.bytes #

这是你之前忽略的核心参数，它控制单个分区单次fetch请求返回的最大字节数。你需要根据自己的消息平均大小，计算出目标条数（比如20条）的总字节数，把这个参数设为大于等于该值：

• 举个例子：如果你的每条消息平均是100字节，20条就是2000字节，那么设置max.partition.fetch.bytes=2500（可以留10%-20%的余量，避免消息大小波动导致拉不满）。
• 这样当消费者负责5个分区时，每个分区最多能拉20条消息，5*20=100条刚好触达max.poll.records的上限，完美符合你的要求；如果后续再调整消费者数量，比如变成4个，每个负责2-3分区，每个分区会自动拉取33-50条（只要字节数足够），总条数还是100。

3. 辅助配置（可选，提升稳定性） #

为了确保broker能返回足够的消息数，避免因为消息太小导致提前返回：

• 设置fetch.min.bytes为目标单分区条数的总字节数（比如2000字节）：broker会攒够这个字节数再返回数据，保证每个分区能拉取到足够的记录。
• fetch.max.wait.ms保持默认500ms即可，它是broker等待攒够fetch.min.bytes的最长时间，避免延迟过高。

最终配置示例（按单条消息100字节计算） #

max.poll.records=100
max.partition.fetch.bytes=2500
fetch.min.bytes=2000
fetch.max.wait.ms=500

验证效果 #

• 单个消费者时：10个分区，每个分区最多拉10条（10*10=100），刚好达到max.poll.records上限。
• 两个消费者时：每个负责5个分区，每个分区最多拉20条（5*20=100），同样达到上限，总拉取数保持稳定。

内容的提问来源于stack exchange，提问作者HIBUDDY