Kafka是否留存消费者因保留策略丢失过期偏移的记录及相关工具问询

1. Kafka服务端是否存在对应记录日志 #

存在，但是默认不会在常规INFO级别的服务日志中输出，需要调整日志级别才能看到：
当topic的retention策略触发旧段日志删除后，若consumer拉取的偏移量小于对应分区的最小可用偏移量logStartOffset，服务端会返回OFFSET_OUT_OF_RANGE错误。你可以修改broker的log4j.properties配置，将kafka.server.KafkaApis的日志级别调整为DEBUG，即可看到对应记录，日志关键词包含Offset out of range for partition。
如果是consumer消费组的偏移量本身超过offsets.retention.minutes阈值被服务端清理，该操作默认会在INFO级别日志中输出，关键词为Deleted offset for group。

2. 无需客户端日志是否可以判定offset提前过期 #

可以，直接通过服务端内置工具和指标即可完成判定：

• 执行官方内置的kafka-consumer-groups.sh命令即可校验：

  kafka-consumer-groups.sh --bootstrap-server <broker接入地址> --describe --group <消费组名称>
  

  输出结果中CURRENT-OFFSET为消费组当前提交的偏移量，LOG-START-OFFSET为分区当前保留的最小消息偏移量，若CURRENT-OFFSET < LOG-START-OFFSET即可直接判定存在offset提前过期的情况。
• 也可以通过broker的JMX指标kafka.server:type=BrokerTopicMetrics,name=OffsetOutOfRangePerSec,topic=<topic名称>判断，若该指标数值大于0，说明近期该topic存在偏移量越界的请求。

3. 对应Admin工具说明 #

Kafka官方及生态都有成熟工具可以批量提取这类信息：

• 官方内置工具：kafka-consumer-groups.sh配合shell脚本可以批量遍历所有消费组和topic，快速过滤出offset过期的异常记录；kafka-topics.sh也可以批量查询所有topic分区的logStartOffset配置。
• 轻量命令行工具：kcat（原kafkacat）可以快速拉取分区起止偏移量，命令kcat -b <broker地址> -L -t <topic名称>即可输出指定topic所有分区的最小、最大偏移量信息。
• 可视化工具：AKHQ、Kafka UI等开源Web工具可以直接在界面展示所有消费组的offset状态，自动标注offset过期的异常项，无需手动执行命令。
• 若需要自定义集成，也可以调用Kafka官方AdminClient的describeConsumerGroups()、listOffsets()等API，批量拉取数据做自定义校验。

内容的提问来源于stack exchange，提问作者hdjur_jcv