K8s部署的Kafka集群无消息60秒后消费者连接中断求助

问题描述 #

在K8s上通过Bitnami Helm Chart部署的Kafka集群中，消费者连接指定Topic后，若Topic约60秒无消息，连接会被中断。本地使用相同配置的Kafka无此问题，调整会话超时等属性无效。

消费者配置 #

spring.kafka.bootstrap-servers=kafka:9092
spring.kafka.consumer.group-id=group-id
spring.kafka.consumer.auto-offset-reset=earliest
spring.kafka.consumer.enable-auto-commit=false
spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.max-poll-records=1000
spring.kafka.properties.spring.json.trusted.packages=*
spring.kafka.consumer.properties.spring.json.use.type.headers=false
spring.kafka.consumer.properties.spring.json.value.default.type=java.lang.String

排查与解决步骤 #

1. 检查K8s网络层空闲超时 #

K8s环境中，Service（尤其是云服务商提供的LoadBalancer类型）或Kube-proxy可能存在默认60秒的空闲连接超时，这是最常见的原因：

• 若使用云服务商LB（如AWS NLB、阿里云SLB），检查LB的空闲超时设置，将其调整至300秒以上；
• 若使用ClusterIP Service，确认Kube-proxy的连接超时配置，部分环境会对空闲连接做回收。

2. 调整Kafka Broker的连接空闲超时参数 #

Bitnami Kafka默认的connections.max.idle.ms可能为60000（60秒），需通过Helm values调大：

• 创建或修改values.yaml：

  kafka:
    configurationOverrides:
      connections.max.idle.ms: 300000  # 设置为5分钟
      # 若使用外部监听，确保协议映射正确
      listener.security.protocol.map: "PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT"
  

• 执行升级命令：

  helm upgrade kafka bitnami/kafka -f your-values.yaml
  

3. 补充消费者端连接与心跳配置 #

即使调整过会话超时，仍需确保消费者侧参数与Broker匹配：
在消费者配置中添加以下参数：

# 心跳间隔，确保在会话超时内持续发送心跳
spring.kafka.consumer.heartbeat-interval-ms=3000
# 会话超时时间，调大至30秒
spring.kafka.consumer.session-timeout-ms=30000
# 连接超时时间，调大至30秒
spring.kafka.consumer.connection-timeout-ms=30000
# 消费者端最大空闲连接时间，与Broker的connections.max.idle.ms保持一致
spring.kafka.consumer.properties.max.idle.ms=300000

4. 对比本地与Bitnami Kafka的配置差异 #

通过命令查看Broker的实际配置：

kubectl exec -it kafka-0 -- cat /opt/bitnami/kafka/config/server.properties

重点对比connections.max.idle.ms、socket.connection.setup.timeout.ms、group.max.session.timeout.ms等参数，确保与本地Kafka配置对齐。

5. 排查网络策略与Service Mesh限制 #

• 检查K8s网络策略是否允许消费者Pod与Kafka Broker Pod的长连接；
• 若使用Service Mesh（如Istio），检查是否设置了空闲连接超时规则，需将Kafka服务的超时调整至合适值。

内容的提问来源于stack exchange，提问作者Drake