Kafka Streams滚动更新出现节点分区分配不均如何优化？

问题根因简述 #

该现象是Kafka Streams默认的粘性分区分配器过度保留历史分配粘性、滚动更新时单节点下线触发全量再平衡将原节点分区全部分配给剩余2个存活节点，重启后的节点无剩余分区槽位可分配导致的。

无需重启的均衡方案 #

1. 调整内置分配器配置触发主动均衡 #

• 开启主动再平衡：Kafka 2.6+版本支持配置proactive.rebalance = true，同时根据实际业务可接受的消费滞后阈值调小acceptable.recovery.lag（默认值10000），分配器检测到分区分配不均时会自动触发温和再平衡，无需人工干预。
• 降低粘性保留阈值：调整stickiness.ms配置从默认的600000（10分钟）到60000（1分钟），减少分配器对历史分配关系的保留优先级，再平衡时会优先做均匀分配。

2. 手动触发增量再平衡 #

• 动态调整线程数：Kafka 2.6+支持通过动态配置API临时调整分配到0分区节点的num.stream.threads参数，比如从2调整到3再改回2，会触发增量再平衡，分配器会将空闲线程对应的槽位重新分配分区，不会中断另外两个节点的正常处理。
• 触发消费组再平衡：临时启动一个同application.id的空消费者进程，启动后立刻关闭，会触发全消费组再平衡，分配器会按照当前存活的3节点共6个线程均匀分配24个源分区，理想状态下每个节点分配8个分区。

前置配置避免后续滚动更新出现失衡 #

以下配置调整后无需重启现有进程，后续滚动更新时自动生效：

• 配置internal.leave.group.on.close = false，滚动更新关闭节点时不会主动发送离开消费组请求，只要节点重启耗时小于session.timeout.ms，分配器只会做增量分区转移，不会将下线节点的全部分区分配给存活节点。
• 配置num.standby.replicas = 1，每个分区会保留1个备用副本在其他节点，滚动更新时下线节点的分区直接切到备用副本，节点重启后分配器会优先将原分区分配回重启节点，避免出现分配倾斜。

内容的提问来源于stack exchange，提问作者Kucera.Jan.CZ