Kafka单消费组下消费者间隔24-30小时重复消费同一消息求助

结合你给出的场景（3分区Topic、单消费者组、30个服务实例、间隔24~30小时重复消费），核心故障原因大概率和偏移量提交失败+偏移量过期直接相关，具体可按以下优先级排查：

• 偏移量未成功提交且超过偏移量保留时间
  Kafka内部存储消费者偏移量的__consumer_offsets主题默认保留时间为24小时，和你给出的消费间隔完全匹配。如果消费者消费消息后始终没有成功提交偏移量，偏移量记录到期被清理后，消费者触发再平衡或重启时，会按照auto.offset.reset配置的策略（默认earliest）从头读取分区消息，导致历史消息被重复消费。
  常见提交失败的场景：
  1. 配置了手动提交模式，但业务逻辑漏写提交偏移量的代码，或提交时出现超时、权限报错没有做重试处理
  2. 配置了自动提交，但消费逻辑耗时超过max.poll.interval.ms阈值，消费者被踢出消费者组，偏移量未完成提交就失去了分区所有权
• 消费者组频繁触发再平衡，偏移量始终无法稳定提交
  你的消费者组有30个实例，但Topic只有3个分区，同一时间最多只有3个实例能分配到分区，剩余27个实例处于空闲状态。如果实例的心跳超时时间配置过短、或者实例有频繁重启的情况，会导致消费者组持续触发再平衡，持有分区的消费者还没来得及提交偏移量就被回收了分区权限，偏移量一直无法成功提交，撑过24小时偏移量过期后就会出现重复消费。
• 消费逻辑异常导致偏移量始终无法推进
  如果你的消费逻辑中设置了「只有消息处理成功才提交偏移量」的规则，该条消息处理过程中持续报错（比如下游依赖不可用、消息格式解析失败），你又没有配置死信队列转发处理失败的消息，会导致该分区的偏移量一直卡在当前消息的位置，等到偏移量过期后就会被重新拉取消费。
• Kafka集群偏移量存储异常
  小概率场景：__consumer_offsets主题的分区出现副本不同步、磁盘损坏等问题，导致提交的偏移量没有正确持久化，消费者下次拉取时读取到旧的偏移量，引发重复消费。

1. 先查消费者的偏移量提交配置：确认是自动提交还是手动提交，手动提交要检查提交代码的异常捕获和重试逻辑，自动提交要检查auto.commit.interval.ms是否配置合理
2. 查消费者日志，是否有rebalance相关的日志、偏移量提交失败的报错、消费者被踢出组的提示
3. 用kafka-consumer-groups.sh命令查询当前消费者组的偏移量提交进度，确认对应分区的偏移量是否有正常推进
4. 检查__consumer_offsets主题的保留时间配置，确认是否为默认的86400000毫秒（24小时）

内容的提问来源于stack exchange，提问作者doubt