Spring Cloud 2022.x升级后Kafka SASL SCRAM观测配置超时问题

问题根源 #

升级到Spring Boot 3.x后，Micrometer Observation（观测框架）和Kafka客户端的交互逻辑发生了变化。开启enable-observation时，KafkaAdmin获取clusterId的请求会被观测链路包裹一层，原有超时配置没考虑这层额外开销，就触发了超时。

需添加/调整的配置（YAML示例） #

直接配置以下项，就能兼顾观测功能和解决超时问题：

• 增大Kafka Admin的超时窗口：
  把KafkaAdmin获取clusterId的超时时间调大，默认的3秒不足以覆盖观测链路的额外耗时：

  spring:
    kafka:
      admin:
        properties:
          request.timeout.ms: 30000  # 根据集群网络情况调整，比如设为30秒
          metadata.max.age.ms: 30000
  

• 适配观测链路的Kafka请求超时：
  确保观测上下文传递时，生产者、消费者的请求超时能适配链路开销：

  spring:
    kafka:
      producer:
        properties:
          request.timeout.ms: 20000
      consumer:
        properties:
          request.timeout.ms: 20000
      observation:
        timeout:
          connect: 10000
          cluster: 10000
  

• 应急方案：手动指定clusterId：
  如果上述调整仍未解决问题，可直接跳过自动获取步骤，手动配置集群ID：

  spring:
    kafka:
      admin:
        cluster-id: 你的Kafka集群ID  # 可从Kafka控制台或通过kafka-topics.sh等工具获取
  

额外检查项 #

• 确认SASL_SSL、SCRAM-SHA-512的配置在Spring Boot 3.x下格式正确，比如JAAS配置的键名是否有细微调整。
• 检查服务到Kafka集群的网络连通性，确保集群能正常响应MetadataRequest（获取clusterId依赖该请求）。
• 若使用Spring Cloud Stream，同步调整binder的观测与超时配置：

  spring:
    cloud:
      stream:
        kafka:
          binder:
            observation:
              enabled: true
            configuration:
              request.timeout.ms: 30000
  

内容的提问来源于stack exchange，提问作者Keith Bennett