关于Kafka内部主题__consumer_offsets消息量过高的技术咨询

这是Kafka运维中挺常见的问题，我碰到过不少团队遇到类似的情况，__consumer_offsets的高吞吐量通常和offset提交的频率、消费者组的数量直接相关，下面给你拆解可能的原因和对应的解决办法：

可能的原因 #

• 消费者offset提交过于频繁：很多团队默认开启自动提交，并且把提交间隔设得很短（比如1秒甚至更短），每一次提交都会往__consumer_offsets写入一条记录。如果你的集群里有大量消费者实例或者消费者组，累加起来的提交量就会非常可观——比如200个消费者每秒提交一次，就会产生200条/s的记录，要是提交频率更高或者消费者更多，很容易冲到15-20k/s。
• 无效/闲置的消费者组过多：如果你的集群里存在大量不再使用的消费者组，它们的offset依然可能被自动提交（尤其是如果这些组的消费者进程没有正常退出），或者某些测试用的临时组没清理，这些都会额外增加__consumer_offsets的写入量。
• 消费者逻辑导致重复提交：比如消费者的处理逻辑有问题，在没有新消息处理的情况下依然触发offset提交（空轮询后提交），或者因为异常重试导致重复提交相同的offset，这也会产生大量无效的写入。
• 旧版本Kafka的bug：某些较老的Kafka版本（比如2.0.x之前的版本）在offset批量提交、自动提交的逻辑上存在缺陷，可能导致不必要的频繁提交，进而推高__consumer_offsets的吞吐量。

对应的解决办法 #

• 调整offset提交策略：
  • 如果你用的是自动提交，把auto.commit.interval.ms从默认的5000（5秒）调大到30000（30秒）甚至60000（1分钟），减少提交频率。
  • 改为手动提交，只在成功处理完一批消息后再提交offset，彻底避免无效提交。比如在Java客户端里，调用consumer.commitSync()或者commitAsync()时，确保是在处理完poll()返回的所有记录之后。
• 清理闲置的消费者组：
  • 用命令列出所有消费者组，排查出不再使用的组：

    kafka-consumer-groups.sh --list --bootstrap-server <你的Broker地址>
    

  • 删除这些闲置组，减少不必要的offset提交：

    kafka-consumer-groups.sh --delete --group <组名> --bootstrap-server <你的Broker地址>
    

• 优化消费者处理逻辑：
  • 避免在空轮询（poll返回空列表）时提交offset，只在有实际消息处理完成后才执行提交操作。
  • 检查是否有异常重试导致的重复提交，确保提交逻辑是幂等的，或者调整重试策略避免重复触发提交。
• 升级Kafka版本：如果你的集群版本比较旧，建议升级到2.8.x或更高的稳定版本，这些版本修复了不少offset提交相关的bug，优化了提交逻辑。
• 验证提交内容：可以用以下命令查看__consumer_offsets的具体消息内容，确认是不是大量重复或无效的提交：

  kafka-console-consumer.sh --topic __consumer_offsets --from-beginning --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" --bootstrap-server <你的Broker地址>
  

内容的提问来源于stack exchange，提问作者unreal