Spring Kafka消费者kafka_consumer_fetch_manager系列lag指标恒为0问题咨询

核心根因 #

1. kafka-clients 2.7.x版本内置指标计算bug #

你使用的kafka-clients:2.7.1属于存在已知缺陷的版本区间，该版本下consumer内置的records_lag系列指标仅在每次fetch请求返回时计算一次当前lag值，若后续没有新的fetch请求触发（如消费速度追赶上生产速度、短时间无新消息生产），客户端会直接将lag值重置为0，与broker端实际的消费滞后数据无关。

2. Micrometer 1.7.x版本Kafka指标采样逻辑缺陷 #

micrometer:1.7.3版本的KafkaClientMetrics完全依赖kafka-clients内置的Sensor输出采样值，没有主动触发lag指标刷新的逻辑，只会被动读取客户端当前上报的数值，因此会出现首次fetch计算到lag后，后续无fetch请求就一直返回0的问题。

3. 低概率：Elastic侧指标写入/聚合异常 #

若验证Micrometer侧原始采样值正常，则需排查Elasticsearch索引配置：是否对lag类指标配置了错误的求和/平均聚合规则、是否存在相同timestamp的指标覆盖写入的情况。

修复方案 #

• 优先升级kafka-clients版本到2.8.0及以上，或回退到2.6.x稳定版本，直接解决客户端内置指标的计算bug。
• 若无法调整kafka-clients版本，可升级Micrometer版本到1.8.0及以上，该版本优化了Kafka lag指标的采集逻辑，会主动触发lag值更新，不再完全依赖kafka-clients被动输出。
• 若版本均无法调整，可自行基于KafkaAdminClient实现消费组lag定时采集逻辑，直接从broker端拉取真实滞后数据后上报到Micrometer，该方案拿到的数值和命令行工具查询结果完全一致，不受客户端行为影响。
• 先通过本地端点打印Micrometer原始指标值，确认原始数值是否已经为0，若原始数值正常再排查Elastic registry的写入、索引模板配置问题。

内容的提问来源于stack exchange，提问作者tommaso.normani