Kafka OffsetOutOfRangeException问题：从偏移量0拉取记录仍报错

这个问题看起来有点反直觉，但其实背后有几个常见的原因，我帮你梳理一下：

1. 目标主题没有任何消息记录 #

这是最常见的情况。Kafka里的偏移量0对应的是主题分区的第一条消息的位置，如果这个分区从创建以来就没有生产者发送过任何消息，或者所有历史消息都被 retention 策略（比如按时间/大小删除）清理掉了，那么偏移量0实际上是一个"不存在"的位置——因为根本没有消息对应这个偏移量。

当你强制让消费者从偏移量0拉取时，Kafka Broker会检查这个偏移量是否在当前分区的可用偏移量范围内（即 [最早可用偏移量, 最新可用偏移量]），如果分区为空，这个范围其实是空的，自然会抛出OffsetOutOfRangeException。

解决办法：

• 先确认主题是否有消息：用kafka-console-consumer.sh工具测试，比如执行kafka-console-consumer.sh --bootstrap-server <你的broker地址> --topic <你的主题名> --from-beginning，如果没有输出，说明主题确实为空。
• 如果是新主题，先让生产者发送至少一条消息，再尝试拉取；如果是旧主题，检查消息 retention 配置是否过于严格导致消息被提前清理。

2. 主题分区的起始偏移量已经被人为调整过 #

有时候管理员可能会用Kafka的工具（比如kafka-delete-records.sh）手动删除了偏移量0对应的记录，甚至直接调整了分区的起始偏移量，导致当前分区的最早可用偏移量大于0。这种情况下，偏移量0已经不在Broker的可用偏移量范围内了，拉取自然会报错。

解决办法：

• 检查分区的当前偏移量范围：用kafka-run-class.sh kafka.tools.GetOffsetShell --bootstrap-server <你的broker地址> --topic <你的主题名> --time -2（-2代表最早偏移量，-1代表最新偏移量），看看输出的最早偏移量是不是大于0。
• 如果确实是被人为调整过，要么调整拉取的偏移量到当前最早可用值，要么恢复之前的偏移量（如果有备份的话）。

3. 你手动指定偏移量的方式忽略了自动重置逻辑 #

如果你是通过consumer.seek(partition, 0)这种方式强制指定拉取偏移量，那么消费者的auto.offset.reset配置（比如earliest/latest）是不会生效的。这个配置只有在消费者没有初始偏移量记录（比如第一次消费某个分区）时才会触发，但手动seek会直接跳过这个逻辑，强制尝试拉取指定偏移量——如果这个偏移量不存在，就会报错。

而如果是让消费者自动分配偏移量（没有手动seek），当没有初始偏移量时，auto.offset.reset=earliest会自动拉取当前最早可用的偏移量，而不是硬拉0，也就不会触发这个错误。

解决办法：

• 如果你不确定偏移量是否存在，不要手动指定偏移量，而是依赖auto.offset.reset=earliest来自动拉取最早的可用消息；
• 一定要手动指定的话，先通过工具获取当前分区的最早可用偏移量，再用这个值来seek。

4. 主题分区被重新创建过 #

如果你的主题曾经被删除后重新创建，或者分区被删除后重新添加，那么新的分区的起始偏移量虽然理论上是0，但如果还没有消息写入，依然会出现第一种情况的问题。另外，有些情况下，旧分区的偏移量记录可能残留，但新分区的实际可用偏移量和旧的不匹配，也会导致这个错误。

解决办法：

• 确认主题/分区的创建历史，确保当前操作的是正常的、有消息（或可以接收消息）的分区；
• 重新发送测试消息到主题，再尝试拉取。

内容的提问来源于stack exchange，提问作者scoder