AWS MSK Kafka broker为何持续断开重连消费者组并频繁重平衡？

问题解答 #

1. amazon.msk.canary.group.broker-1 是什么消费者组 #

这是AWS MSK托管服务内置的金丝雀健康检测专属消费者组，每个集群的broker都会对应一个以此为前缀命名的独立消费者组，由AWS官方运维侧控制，不属于用户自行创建的业务资源。它的核心作用是周期性验证集群的生产、消费链路可用性，是MSK托管服务自带的健康巡检组件。

2. 持续重平衡的触发原因 #

你观察到的现象属于MSK健康检测的正常运行逻辑，并非集群故障：

• MSK默认每60秒会为每个broker启动一个临时的金丝雀消费者，加入对应amazon.msk.canary.group.broker-{编号}的消费者组，完成预设的消费可用性验证后，会主动发送LeaveGroup请求退出组。
• 消费者加入组、主动退出组的两个操作，都会触发组协调器发起重平衡，和你日志中显示的「先触发加成员重平衡、25秒后触发成员离开重平衡」的时序完全匹配。
• 这类重平衡仅作用于MSK自带的金丝雀消费者组，不会对用户自行创建的业务消费者组产生任何影响。如果不想在日志中看到这类INFO级别的重平衡记录，可以调整broker的日志级别配置，将kafka.coordinator.group.GroupCoordinator的日志输出等级调整为WARN及以上即可过滤。

内容的提问来源于stack exchange，提问作者amorfis