You need to enable JavaScript to run this app. 如何不引入Spring Sleuth,基于Brave为@KafkaListener实现Kafka消费者链路追踪
优惠活动
大模型
产品
解决方案
定价
更多

如何不引入Spring Sleuth,基于Brave为@KafkaListener实现Kafka消费者链路追踪

Brave Kafka 消费者链路集成实操

核心逻辑:Brave Kafka 埋点模块通过包装原生KafkaConsumer实现上下文提取、Span上报,对接Spring Kafka场景时只需要在原有ConsumerFactory的创建流程中插入包装逻辑即可,全程不需要改动业务侧的@KafkaListener代码,也不需要引入Spring Sleuth。

1. 依赖准备

在现有Brave核心依赖的基础上,补充版本匹配的brave-instrumentation-kafka-clients模块依赖即可,不需要引入Spring Sleuth相关的任何组件。

2. 初始化KafkaTracing实例

直接在现有Kafka配置类中注入项目已经初始化完成的Brave Tracing实例,创建对应的KafkaTracing Bean,不要重复初始化Tracing核心配置:

@Autowired
private Tracing existingBraveTracing;

@Bean
public KafkaTracing kafkaTracing() {
  return KafkaTracing.newBuilder(existingBraveTracing)
    .remoteServiceName("kafka-broker") // 自定义Broker的服务名,方便链路筛选
    .build();
}

3. 改造ConsumerFactory接入埋点

原有DefaultKafkaConsumerFactory会直接创建原生KafkaConsumer,这里需要重写Consumer创建逻辑,在原生Consumer实例生成后,用KafkaTracing做一层包装再返回:

@Bean
public ConsumerFactory<String, MyRequest> testConsumerFactory(KafkaTracing kafkaTracing) {
  final Map<String, Object> consumerProperties = new HashMap<>();
  consumerProperties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "kafka01-localhost:9092");
  consumerProperties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
  consumerProperties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, JsonDeserializer.class);
  consumerProperties.put(ConsumerConfig.GROUP_ID_CONFIG, "TestGROUP");

  return new DefaultKafkaConsumerFactory<String, MyRequest>(
    consumerProperties,
    new StringDeserializer(),
    new JsonDeserializer<>(MyRequest.class)
  ) {
    @Override
    public Consumer<String, MyRequest> createConsumer(String groupId, String topic, int partition) {
      // 先走父类逻辑创建原生Consumer,保留所有原有配置
      Consumer<String, MyRequest> rawConsumer = super.createConsumer(groupId, topic, partition);
      // 对原生Consumer做埋点包装后返回
      return kafkaTracing.consumer(rawConsumer);
    }
  };
}

原有testKafkaListenerContainerFactory Bean不需要做任何调整,因为容器会自动从改造后的ConsumerFactory中获取带埋点的Consumer实例。
关键注意点:必须在原生Consumer创建完成后再做包装,不能直接用KafkaTracing的Builder从properties创建Consumer,否则会丢失原有配置的反序列化器、自定义拦截器、容错逻辑。

4. 链路效果说明

改造完成后不需要修改原有@KafkaListener标注的业务方法,自动实现:

  • 从Kafka消息头中提取上游生产端的Trace上下文,打通生产-消费全链路
  • 自动上报拉取消息、业务方法执行两个核心Span,记录消费组、Topic、分区等标签
  • 自动把当前链路的Trace上下文绑定到业务执行线程,业务侧可直接从Brave的CurrentTraceContext中获取TraceId做日志关联

常见踩坑提醒

  • 自定义的Kafka ConsumerInterceptor需要配置在原有的consumerProperties中,不要在埋点包装后追加,否则Interceptor逻辑会脱离链路Span的覆盖范围
  • 不需要额外调整Spring Kafka的容器配置,埋点逻辑和Spring Kafka的重平衡、手动/自动ACK流程完全兼容,Span的关闭时机和实际消费逻辑的生命周期一致
  • 如果需要自定义消费端的Span名称,可在构建KafkaTracing时通过consumerSpanName方法配置,方便链路面板按业务筛选

内容的提问来源于stack exchange,提问作者Zis

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.17 19:36:04