容器重启后Kafka消息被重放：Go Shopify Sarama消费问题求助

核心原因定位 #

你当前遇到的多实例重复消费问题，本质是消息处理完成后offset未成功提交到Kafka broker，因为你只有1个分区，正常只会分配给3个实例中的一个，offset未提交的情况下，每次重启触发重平衡，分区分配给任意实例时都会从上一次成功提交的位置拉取消息，因此出现多实例重复消费同一条消息的现象。

排查步骤 #

• 检查offset提交策略配置
  1. 确认Consumer.Offsets.AutoCommit.Enable参数配置：如果开启了自动提交，要注意自动提交是后台异步定时执行，不是消息处理完成后立刻提交，如果消息处理完成后还没到Consumer.Offsets.AutoCommit.Interval设置的时间点服务就重启，offset不会被持久化到Kafka。如果是手动提交模式，需要确认所有业务逻辑处理完成的分支都调用了CommitOffsets()方法，没有因为异常、判断分支跳过提交步骤。
  2. 在offset提交逻辑处增加错误日志打印，确认重启前最后一条消息的offset提交是否返回成功，是否有提交超时、报错的情况。
• 检查消费者超时相关参数补全
  你仅配置了MaxProcessingTime和Rebalance.Timeout，还需要补充调整两个核心超时参数：
  1. Consumer.Group.Session.Timeout：建议设置为6分钟（比你的5分钟处理时长久），避免消费者还在处理消息就被broker判定会话过期踢出消费者组。
  2. Consumer.Group.Heartbeat.Interval：建议设置为1分钟（是Session.Timeout的1/3左右），保证消费者处理长耗时任务时可以正常向broker发送心跳，避免误判下线触发不必要的重平衡。
  3. Consumer.Offsets.RequestTimeout：建议设置为30秒以上，避免offset提交请求本身超时导致提交失败。
• 验证方案
  可以先做快速测试验证根因：消息业务逻辑处理完成后，立刻调用同步提交offset的方法，确认日志打印提交成功后再手动重启服务，如果不再出现重复消费，即可确定是offset未及时提交导致的问题。

优化建议 #

后续分区扩容后，也建议针对长耗时消费场景使用手动提交模式，处理完单条/批量消息后立刻提交offset，避免自动提交的时间差导致的offset丢失问题。

内容的提问来源于stack exchange，提问作者Sakalya