Kafka主题GET /offsets API中beginning_offset的含义及变更场景问询

基本含义 #

beginning_offset指的是当前分区中仍可被访问的最早消息的偏移量，它并非固定为0——只有当分区内所有历史消息都未被清理时，它才会是0。一旦旧消息被移除，这个值就会对应剩余消息的起始偏移量。

比如你提供的API返回示例里，beginning_offset:10就意味着该分区中偏移量0到9的消息已经被清理，现在能读取到的最早消息是偏移量10的那条。

导致beginning_offset变更的常见场景 #

• 基于时间/大小的日志清理：
  如果主题配置了retention.ms（消息保留时长）或retention.bytes（分区日志最大占用空间），当消息超出保留限制时，Kafka会自动删除旧消息。比如设置了保留7天，7天前的消息被删除后，beginning_offset就会更新为当前剩余最早消息的偏移量。
• 日志压缩机制：
  当主题启用日志压缩（cleanup.policy=compact）时，Kafka会对相同key的消息去重，只保留最新版本的消息。旧版本的消息被清理后，beginning_offset会跳到未被压缩清理的最早消息位置。
• 手动删除消息：
  通过Kafka自带的kafka-delete-records.sh工具，手动指定删除某个偏移量之前的所有消息，执行完成后，该分区的beginning_offset会被设置为你指定的偏移量值。
• 分区重新分配/副本同步：
  当分区被重新分配到新的Broker节点时，新副本可能从某个偏移量开始同步（而非从0开始），此时该分区的beginning_offset会对应新副本中最早的消息偏移量。
• 修改保留配置后的主动清理：
  如果中途把主题的retention.ms或retention.bytes改得更小，Kafka会立即触发一轮清理，删除超出新限制的旧消息，直接导致beginning_offset上升。

内容的提问来源于stack exchange，提问作者Aishwarya Sharma