Kubernetes中生产者/消费者Pod无法连接Kafka服务如何解决

核心故障根因定位 #

当前配置存在4个直接导致连接失败的问题：

• ZooKeeper未配置匹配的Service域名，且集群参数配置错误，导致Kafka Broker无法正常完成选举启动
• wurstmeister/kafka镜像监听器配置缺失，客户端拿到的Broker广播地址不符合K8s集群网络规则
• Kafka Service的标签匹配规则未做校验，存在Service无后端可用的风险
• ZooKeeper副本数配置为偶数，无法满足ZAB协议多数派选举要求，集群状态异常

逐组件修复步骤 #

1. 修复ZooKeeper部署配置 #

ZooKeeper测试环境用1副本即可，生产环境用3副本，禁止使用2副本配置。首先创建匹配的ZooKeeper Headless Service：

# ZooKeeper Service配置
apiVersion: v1
kind: Service
metadata:
  name: zoo1 # 和Kafka配置里的ZK连接地址对齐
  labels:
    app: zookeeper
spec:
  ports:
  - port: 2181
    name: client
  clusterIP: None
  selector:
    app: zookeeper

单副本测试场景下，简化ZooKeeper Deployment环境变量配置，去掉多余集群参数：

# ZooKeeper Deployment核心环境变量段
env:
- name: ZOOKEEPER_ID
  value: "1"
- name: ZOOKEEPER_CLIENT_PORT
  value: "2181"

如果要部署3副本ZK集群，需要为每个副本配置对应的ZOOKEEPER_SERVER_X环境变量，同时为每个副本配置对应序号的Headless Service域名；测试阶段直接用单副本ZK即可，大幅降低排障复杂度。

2. 修复Kafka Deployment配置 #

wurstmeister/kafka镜像不能仅配置KAFKA_ADVERTISED_HOST_NAME和KAFKA_ADVERTISED_PORT，必须显式指定监听器规则，否则Broker返回给客户端的连接地址无效。修正后的核心配置如下：

# Kafka Deployment核心配置段
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kafka
      id: "0" # 和Service选择器标签完全对齐
  template:
    metadata:
      labels:
        app: kafka
        id: "0" # 必须和Service选择器标签完全一致，否则Service无法绑定Pod
    spec:
      containers:
      - name: kafka
        image: wurstmeister/kafka:latest
        ports:
        - containerPort: 9092
        env:
        - name: KAFKA_BROKER_ID
          value: "0"
        - name: KAFKA_ZOOKEEPER_CONNECT
          value: "zoo1:2181" # 和ZK Service名完全对齐
        - name: KAFKA_LISTENERS
          value: "PLAINTEXT://:9092"
        - name: KAFKA_ADVERTISED_LISTENERS
          value: "PLAINTEXT://kafka-service:9092" # 广播给客户端的地址为Kafka Service域名
        - name: KAFKA_INTER_BROKER_LISTENER_NAME
          value: "PLAINTEXT"
        - name: ALLOW_PLAINTEXT_LISTENER
          value: "yes"

3. 校验Kafka Service配置 #

现有Kafka Service逻辑无问题，重点确认选择器标签和Pod标签格式完全匹配：

apiVersion: v1
kind: Service
metadata:
  name: kafka-service
spec:
  type: ClusterIP
  ports:
  - port: 9092
    targetPort: 9092
  selector:
    app: kafka
    id: "0" # 标签值为字符串格式，和Pod标签保持一致，避免数字/字符串格式不匹配导致选不到后端

连通性校验步骤 #

所有配置通过kubectl apply生效后，按顺序校验：

1. 查看ZooKeeper Pod状态为Running，执行kubectl logs <zk-pod-name>无报错即为启动成功
2. 查看Kafka Pod状态为Running，执行kubectl logs <kafka-pod-name>确认日志中出现started (kafka.server.KafkaServer)字样，说明Broker成功连接ZK完成启动
3. 校验Kafka Service端点：执行kubectl get endpoints kafka-service，确认返回结果中存在Kafka Pod的IP:9092记录，如果为空说明标签不匹配，Service未绑定后端
4. 进入同命名空间的消费者/生产者Pod，执行nc -zv kafka-service 9092返回succeeded即为网络连通，后续直接用kafka-service:9092作为bootstrap-server地址配置客户端，即可正常生产消费。

常见避坑点 #

• K8s集群内部访问服务，直接用Service名:端口作为访问地址，不要用Pod IP，Pod IP重启后会发生变化
• Kafka客户端连接逻辑为：先连接bootstrap-server拿到Broker返回的advertised.listeners地址，再通过该地址做后续生产消费，因此这个地址必须是所有客户端Pod都能正常解析、访问的地址，不能配置为localhost或者单个Pod IP
• ZooKeeper集群必须使用奇数副本，2副本集群需要2个节点同时在线才能满足多数派选举要求，可靠性比单副本更低。

内容的提问来源于stack exchange，提问作者Art