使用segmentio/kafka-go遇Offset越界错误，重启无效如何解决？

问题原因 #

你的Kafka Topic数据目录被清空后，消费者组（group）的位移记录存储在Kafka内置的__consumer_offsets主题中，这个位移已经超出了当前Topic的可用偏移范围（比如原位移是1000，但清空后Topic的最早偏移为0或无数据），所以Reader初始化时会触发偏移越界错误，重启应用后因为消费者组位移未重置，问题依然存在。

修复方案 #

方案1：通过Reader配置自动处理偏移越界 #

在kafka.ReaderConfig中添加OffsetOutOfRangeStrategy配置，指定偏移越界时自动重置到最早或最新偏移，这正是你提到的issue#891新增的功能：

reader := kafka.NewReader(kafka.ReaderConfig{
    Brokers:                  []string{broker},
    GroupTopics:              []string{topic},
    GroupID:                  "group",
    MinBytes:                 cfg.MinBytes,
    MaxBytes:                 cfg.MaxBytes,
    QueueCapacity:            cfg.QueueCapacity,
    SessionTimeout:           cfg.SessionTimeout,
    MaxAttempts:              cfg.MaxAttempts,
    Logger:                   kafka.LoggerFunc(log.New(log.Writer(), "[kafka reader] ", 0).Printf),
    // 偏移越界时自动重置到最早可用偏移，也可设为kafka.ReadOffsetNewest重置到最新偏移
    OffsetOutOfRangeStrategy: kafka.ReadOffsetOldest,
})

这个配置会让Reader在检测到请求偏移超出服务器维护范围时，自动按指定策略重置偏移，无需手动干预。

方案2：手动重置消费者组位移 #

如果不想修改代码，可通过Kafka命令行工具直接重置消费者组的位移：

# 重置到Topic最早可用偏移
kafka-consumer-groups.sh --bootstrap-server <你的broker地址> --group group --reset-offsets --to-earliest --topic <你的topic> --execute

# 重置到Topic最新偏移（仅消费后续新产生的消息）
kafka-consumer-groups.sh --bootstrap-server <你的broker地址> --group group --reset-offsets --to-latest --topic <你的topic> --execute

执行完命令后重启应用，Reader会使用重置后的偏移开始消费。

内容的提问来源于stack exchange，提问作者Violetta