Kafka Connect消费者组出现超最大任务数无分配闲置成员问题咨询

1. 该现象的产生原因 #

• 消费者实例异常退出未主动上报：分布式模式下Kafka Connect worker进程崩溃、网络分区、节点宕机等异常场景中，旧的消费者实例无法主动向Kafka组协调器发送LeaveGroup请求，协调器会暂时保留该成员记录直到会话超时。
• 超时相关配置不合理：如果session.timeout.ms（会话超时时间）、max.poll.interval.ms（最大拉取间隔）配置值过大，协调器需要等待更长时间才会判定异常成员失效，导致残留成员长时间滞留在成员列表中。
• 旧版本Kafka已知缺陷：2.1.x之前的Kafka版本存在部分消费者组元数据清理逻辑漏洞，会出现已失效成员无法被自动清理的残留问题。
• 运维操作触发的临时残留：调整连接器最大任务数、worker滚动重启过程中，新的消费者实例加入组完成分区分配后，旧实例还未到超时时间，就会出现短时间内成员数超过任务数的情况。

2. 旧闲置成员的自动清理实现 #

• 调整消费者超时配置：在Connect worker配置或连接器的consumer覆盖配置中，将session.timeout.ms调整到10000_30000ms（1030秒）的合理区间，max.poll.interval.ms设置为比实际消费逻辑最大耗时高30%左右，协调器会在超时阈值内未收到心跳/拉取请求时自动踢出失效成员。注意session.timeout.ms需要在broker端group.min.session.timeout.ms和group.max.session.timeout.ms的允许范围内。
• 调整Broker端闲置连接配置：将connections.max.idle.ms调整为不超过10分钟，闲置超过该时长的消费者连接会被Broker主动断开，对应的失效成员会被清理出组。
• 升级Kafka版本：升级到2.3.x及以上的稳定Kafka版本，修复旧版本存在的消费者组元数据残留bug，优化失效成员的自动清理逻辑。

3. 手动删除闲置成员的方法 #

可以手动删除已失效的闲置成员，操作步骤如下：

• 首先执行命令查询消费者组的所有成员信息，确认闲置成员的ID：
  kafka-consumer-groups.sh --bootstrap-server <你的Broker地址:端口> --describe --group <对应的消费者组ID>
• 确认成员为无分配的闲置状态后，执行删除命令（Kafka 2.2及以上版本支持）：
  kafka-consumer-groups.sh --bootstrap-server <你的Broker地址:端口> --delete --group <对应的消费者组ID> --members <闲置成员ID1> <闲置成员ID2>
• 如果使用的Kafka版本低于2.2，不支持单独删除指定成员，可选择重启连接器任务，触发所有消费者重新加入组，旧的残留成员会自动被清理。

注意：手动删除成员操作会触发消费者组重平衡，建议在业务低峰期操作，避免对正常数据同步产生短暂影响。

消费者组成员列表示例：

内容的提问来源于stack exchange，提问作者Otto