Kafka在保留策略删除旧消息后是否会继续分配连续偏移量？

场景背景 #

• 使用包含4个分区的Kafka Topic，消息保留周期（TTL）为默认7天
• 运行非流式批量作业处理Kafka数据，每次处理完成后手动存储Kafka偏移量
• 已保存的偏移量示例：
  • 第1天保存的偏移量：

    {
      "0": 100,
      "1": 110,
      "2": 90,
      "3": 123
    }
    

  • 第6天保存的偏移量：

    {
      "0": 20000,
      "1": 21000,
      "2": 11000,
      "3": 17003
    }
    

• 第7天Kafka会自动删除所有超过7天的旧消息

核心疑问 #

在第7天后有新数据写入，且旧消息已被删除的情况下：

1. Kafka是否会继续分配连续的偏移量？比如分区0的下一条新消息偏移量为20001？
2. 还是旧消息删除后，每个分区的偏移量会重置为0？
3. 能否从存储的最后偏移量（如20000）的下一个位置（20001）开始读取，正确获取新生产的消息且无问题（如Kafka复用旧偏移量）？

解答 #

1. Kafka的偏移量是全局单调递增的，不会因旧消息删除而重置
   每个Kafka分区的偏移量是消息的唯一标识，从0开始永久连续递增，即使旧消息被删除，后续新写入的消息依然会分配当前分区最大偏移量+1的数值。比如你提到的分区0，第6天最后偏移量是20000，第7天后新写入的消息偏移量会是20001，以此类推。

2. 消息删除只会清理物理存储的消息数据，不会修改偏移量的分配逻辑
   Kafka的消息保留策略只是删除超过TTL的消息文件，但偏移量的计数器是独立于消息存储的，不会因为旧消息被删除而重置为0。旧偏移量对应的消息虽然不存在了，但偏移量本身不会被复用或重置。

3. 从存储的最后偏移量+1的位置读取是完全安全的
   你存储的最后处理偏移量是20000，次日从20001开始读取，完全可以正确获取之后新生产的消息，不会出现偏移量复用的问题。如果20001对应的消息已经存在，会正常读取；如果该偏移量尚未有消息写入，消费端会等待新消息（取决于你的消费配置），不会出现读取到旧消息或偏移量冲突的情况。

内容的提问来源于stack exchange，提问作者Nagaraj