基于Spring Boot的事务性Kafka生产者consumer lag翻倍问题咨询
Spring Boot 事务型Kafka生产者场景下消费Lag翻倍问题
基础环境版本
- spring-boot-starter-parent:2.3.0.RELEASE
- spring-kafka:2.5.0.RELEASE
- 对接的目标Kafka集群版本:2.1.x
端侧配置说明
生产者侧规则
- 已开启
idempotence幂等发送能力 - 配置了
transactional.id.prefix事务ID前缀 - 所有
kafkaTemplate的消息发送调用,全部包裹在Spring事务的执行作用域内
消费者侧规则
- 仅设置
isolation.level = read_committed隔离级别
实际观测的异常表现
- 测试场景下,生产者固定发送n条业务事件(示例测试值为10条)
- 当对应消费端处于停止未运行状态时,监控系统统计得到的消费Lag值为实际业务发送量的2倍(示例观测值为20,远高于生产者实际写入的10条业务数据量)
- 当消费端重新启动并恢复正常消费时,实际拉取处理的业务事件数量与生产者发送量完全匹配(即仅消费10条业务数据,无额外冗余消息被消费)
咨询前的准备
测试过程中曾自行推测过部分可能成因,但查阅Kafka官方文档未找到对应场景的明确说明,担心问题表述过于泛化无法得到针对性解答。
核心待验证问题
- 上述场景下,消费端未运行时Lag统计值为生产条数2倍的表现,是否属于Kafka事务机制下的预期行为?
- Lag翻倍是否来源于事务机制的固有特性:每条由生产者发送的业务事件批次,都会附带1条事务相关的控制记录,最终导致Lag统计口径将这类不属于业务消息的事务记录,也纳入了未消费的计数范围?
内容的提问来源于stack exchange,提问作者user195563
相关产品推荐
相关产品推荐

