如何保证Kafka消费数据不丢失，现有offset记录方案是否可行？

方案正确性判断 #

你提出的方案是正确的，属于Kafka消费端实现可靠消息语义的标准实现思路。

原有逻辑问题根源 #

你现存的代码是典型的提前提交offset逻辑：消息写入channel就标记为已消费、触发offset自动提交，此时消息还未完成业务处理，一旦服务宕机，channel中积压的未处理消息对应的offset已经被提交，Kafka不会再重新推送这部分消息，直接导致消息丢失。

方案落地注意事项 #

要保证方案可靠运行，需要注意几个核心细节：

• offset必须按 消费者组 + topic + 分区 三个维度联合存储，不能只存单条offset记录。Kafka中同一个消费者组下同一个topic的不同分区的offset是独立的，重启时需要逐个分区设置对应起始消费位点
• 必须关闭sarama的自动offset提交配置，将Config.Consumer.Offsets.AutoCommit.Enable设为false，避免sarama后台自动提交的offset覆盖你自己存储的正确位点
• 该方案天然会出现重复消费场景：例如业务写入数据库成功、但还没来得及更新存储的offset时服务宕机，重启后会从旧的offset重新消费，同一条消息会被处理两次，因此你的业务逻辑必须做幂等处理，例如基于消息唯一键、业务主键做去重校验，避免写入脏数据

可选优化思路 #

如果不想自己维护offset存储，也可以调整现有代码逻辑：把sess.MarkMessage的调用从写入channel的位置，挪到工作goroutine业务处理成功的位置，业务处理完成后再标记offset待提交，sarama后续提交的offset就都是已处理完成的位点，和自己存offset的逻辑本质一致，实现更简单。

内容的提问来源于stack exchange，提问作者CharmCcc