如何不引入Spring Sleuth,基于Brave为@KafkaListener实现Kafka消费者链路追踪
核心逻辑:Brave Kafka 埋点模块通过包装原生KafkaConsumer实现上下文提取、Span上报,对接Spring Kafka场景时只需要在原有ConsumerFactory的创建流程中插入包装逻辑即可,全程不需要改动业务侧的@KafkaListener代码,也不需要引入Spring Sleuth。
1. 依赖准备
在现有Brave核心依赖的基础上,补充版本匹配的brave-instrumentation-kafka-clients模块依赖即可,不需要引入Spring Sleuth相关的任何组件。
2. 初始化KafkaTracing实例
直接在现有Kafka配置类中注入项目已经初始化完成的Brave Tracing实例,创建对应的KafkaTracing Bean,不要重复初始化Tracing核心配置:
@Autowired private Tracing existingBraveTracing; @Bean public KafkaTracing kafkaTracing() { return KafkaTracing.newBuilder(existingBraveTracing) .remoteServiceName("kafka-broker") // 自定义Broker的服务名,方便链路筛选 .build(); }
3. 改造ConsumerFactory接入埋点
原有DefaultKafkaConsumerFactory会直接创建原生KafkaConsumer,这里需要重写Consumer创建逻辑,在原生Consumer实例生成后,用KafkaTracing做一层包装再返回:
@Bean public ConsumerFactory<String, MyRequest> testConsumerFactory(KafkaTracing kafkaTracing) { final Map<String, Object> consumerProperties = new HashMap<>(); consumerProperties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "kafka01-localhost:9092"); consumerProperties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class); consumerProperties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, JsonDeserializer.class); consumerProperties.put(ConsumerConfig.GROUP_ID_CONFIG, "TestGROUP"); return new DefaultKafkaConsumerFactory<String, MyRequest>( consumerProperties, new StringDeserializer(), new JsonDeserializer<>(MyRequest.class) ) { @Override public Consumer<String, MyRequest> createConsumer(String groupId, String topic, int partition) { // 先走父类逻辑创建原生Consumer,保留所有原有配置 Consumer<String, MyRequest> rawConsumer = super.createConsumer(groupId, topic, partition); // 对原生Consumer做埋点包装后返回 return kafkaTracing.consumer(rawConsumer); } }; }
原有
testKafkaListenerContainerFactoryBean不需要做任何调整,因为容器会自动从改造后的ConsumerFactory中获取带埋点的Consumer实例。
关键注意点:必须在原生Consumer创建完成后再做包装,不能直接用KafkaTracing的Builder从properties创建Consumer,否则会丢失原有配置的反序列化器、自定义拦截器、容错逻辑。
4. 链路效果说明
改造完成后不需要修改原有@KafkaListener标注的业务方法,自动实现:
- 从Kafka消息头中提取上游生产端的Trace上下文,打通生产-消费全链路
- 自动上报拉取消息、业务方法执行两个核心Span,记录消费组、Topic、分区等标签
- 自动把当前链路的Trace上下文绑定到业务执行线程,业务侧可直接从Brave的
CurrentTraceContext中获取TraceId做日志关联
常见踩坑提醒
- 自定义的Kafka ConsumerInterceptor需要配置在原有的
consumerProperties中,不要在埋点包装后追加,否则Interceptor逻辑会脱离链路Span的覆盖范围 - 不需要额外调整Spring Kafka的容器配置,埋点逻辑和Spring Kafka的重平衡、手动/自动ACK流程完全兼容,Span的关闭时机和实际消费逻辑的生命周期一致
- 如果需要自定义消费端的Span名称,可在构建
KafkaTracing时通过consumerSpanName方法配置,方便链路面板按业务筛选
内容的提问来源于stack exchange,提问作者Zis

