为何Kafka Go的ListOffsets方法返回零时间偏移量？

问题根源 #

你遇到的不一致，核心是kafka-go的ListOffsets调用参数设置错误，导致查询逻辑和kafka-get-offsets工具默认行为不匹配：

• kafka-get-offsets工具默认查询分区的最新偏移量（对应Kafka API中时间戳参数为-1）；
• 你的代码大概率未指定正确的时间戳参数，默认传入了Go的零时间（0001-01-01T00:00:00Z），Kafka找不到匹配该时间戳的偏移量，因此返回Offset=-1、Timestamp=零时间，你看到的FirstOffset和LastOffset为-1，本质是查询无结果的表现。

Kafka-Go ListOffsets 正确用法 #

要获取分区的最早/最新偏移量，需在调用时显式指定Timestamp参数为kafka.FirstOffset（对应Kafka API的-2，查询最早偏移量）或kafka.LastOffset（对应-1，查询最新偏移量）。示例代码如下：

package main

import (
    "context"
    "fmt"
    "github.com/segmentio/kafka-go"
)

func main() {
    conn, err := kafka.Dial("tcp", "your-kafka-broker:9092")
    if err != nil {
        panic(err)
    }
    defer conn.Close()

    // 查询分区0的最新偏移量
    resp, err := conn.ListOffsets(context.Background(), &kafka.ListOffsetsRequest{
        Topics: []kafka.ListOffsetsRequestTopic{
            {
                Topic: "your-topic-name",
                Partitions: []kafka.ListOffsetsRequestPartition{
                    {
                        Partition: 0,
                        Timestamp: kafka.LastOffset, // 指定查询最新偏移量
                    },
                },
            },
        },
    })
    if err != nil {
        panic(err)
    }

    // 打印结果
    for _, topic := range resp.Topics {
        for _, part := range topic.Partitions {
            fmt.Printf("分区%d: 偏移量=%d, 对应消息时间戳=%v\n", part.Partition, part.Offset, part.Timestamp)
        }
    }
}

字段含义说明 #

kafka-go的ListOffsetsResponsePartition结构中：

• Offset：匹配你指定时间戳的偏移量。如果查询最新偏移量，这里会返回当前分区的下一个写入位置（比如生产2条消息后，偏移量为2）；
• Timestamp：该偏移量对应的消息的时间戳。如果查询最新偏移量，返回的是最后一条消息的时间戳；
• 若查询的时间戳无匹配偏移量（比如传入零时间），则Offset=-1、Timestamp=零时间，这就是你看到的异常结果。

额外说明 #

KRaft模式本身不会影响偏移量查询，只要客户端能正常连接Broker，问题就出在参数设置上，和部署模式无关。

内容的提问来源于stack exchange，提问作者Kurt Peek