Redpanda集群无法通过时间戳获取偏移量问题求助

问题现象 #

部署Redpanda集群后，尝试通过时间戳查询消息偏移量时遇到异常：

• 使用confluent-kafka Python库调用offsets_for_times方法，返回偏移量-1（表示所有数据早于目标时间戳），但实际存在晚于该时间戳的消息（消费到的消息时间戳为(1, 1689586682955)，其中1代表CREATE_TIME类型）。
• 尝试pykafka、Kafka消费者组重置偏移量脚本、Redpanda Console按时间戳起始消费，均出现类似问题（返回最新偏移量或仅加载最新1条消息）。

核心原因 #

Redpanda完全兼容Kafka的时间戳查询API，问题并非不支持该功能，而是时间戳类型不匹配或日志配置/索引问题导致的。

排查与解决步骤 #

1. 匹配时间戳类型 #

confluent-kafka的offsets_for_times默认使用TIMESTAMP_LOG_APPEND_TIME（日志追加时间），但你消费到的消息时间戳类型为CREATE_TIME（值为1），两者不匹配会导致查询不到对应偏移量。

修改代码，指定时间戳类型为TIMESTAMP_CREATE_TIME：

import confluent_kafka as ck
import uuid

c = ck.Consumer({
    'bootstrap.servers': 'redpanda-bootstrap.example.com:9094',
    'group.id': f'test-{uuid.uuid4()}',
})

tp = ck.TopicPartition('log-feed-test', 0, 1689584185555)
print(tp)
# 指定时间戳类型为CREATE_TIME
tp = c.offsets_for_times([tp], timestamp_type=ck.TIMESTAMP_CREATE_TIME)
print(tp)

2. 验证日志保留配置 #

如果Redpanda的日志清理策略已删除目标时间戳对应的日志段，也会导致查询失败。通过Redpanda CLI检查主题的日志保留配置：

rpk topic describe log-feed-test

确保log.retention.ms或log.retention.bytes足够大，未清理掉目标时间戳范围内的日志。

3. 调整时间戳索引密度 #

若log.index.interval.bytes设置过大，时间戳索引条目会过于稀疏，无法精确匹配目标时间戳。建议将该参数调整为较小值（默认是4096字节），修改Redpanda配置文件后重启节点：

# redpanda.yaml
log_index_interval_bytes: 4096

4. 修正Kafka脚本参数 #

使用Kafka消费者组脚本重置偏移量时，需指定与消息匹配的时间戳类型：

kafka-consumer-groups.sh --bootstrap-server redpanda-bootstrap.example.com:9094 \
  --group test-group \
  --reset-offsets \
  --topic log-feed-test:0 \
  --by-create-time \  # 匹配消息的CREATE_TIME类型
  --to-timestamp 1689584185555 \
  --execute

验证结果 #

修改代码或配置后重新测试，offsets_for_times应返回目标时间戳对应的正确偏移量，其他工具也能正常按时间戳定位消息。

内容的提问来源于stack exchange，提问作者Xiang Zhang