K8s集群中Kafka无法外部连接的问题排查求助

核心问题分析 #

你的Kafka配置中，EXTERNAL监听器的容器内部绑定地址错误，导致端口转发无法正常触达；同时容器未暴露9093端口，外部请求无法进入容器。

1. 修正Kafka Deployment配置 #

修改Deployment的容器端口和监听器相关环境变量：

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: kafka-broker
  name: kafka-broker
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kafka-broker
  template:
    metadata:
      labels:
        app: kafka-broker
    spec:
      hostname: kafka-broker
      containers:
        - image: bitnami/kafka
          imagePullPolicy: IfNotPresent
          name: kafka-broker
          ports:
            - containerPort: 9092  # 集群内部通信端口
            - containerPort: 9093  # 新增外部访问端口
          env:
            - name: ALLOW_PLAINTEXT_LISTENER
              value: "yes"
            - name: KAFKA_LISTENER_SECURITY_PROTOCOL_MAP
              value: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
            - name: KAFKA_INTER_BROKER_LISTENER_NAME
              value: INTERNAL
            - name: KAFKA_BROKER_ID
              value: "1"
            - name: KAFKA_ZOOKEEPER_CONNECT
              value: "zookeeper-service:2181"
            # 修改EXTERNAL监听器绑定地址为0.0.0.0，允许容器所有网卡监听
            - name: KAFKA_LISTENERS
              value: INTERNAL://:9092,EXTERNAL://0.0.0.0:9093
            - name: KAFKA_ADVERTISED_LISTENERS
              value: INTERNAL://kafka-service:9092,EXTERNAL://localhost:9093
            - name: KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE
              value: "true"
            - name: KAFKA_CREATE_TOPICS
              value: "PARSEREVENT:1:1"
            - name: MY_POD_IP
              valueFrom:
                fieldRef:
                  fieldPath: status.podIP

应用修改：

kubectl apply -f <你的deployment文件路径>

2. 正确执行端口转发 #

重启Pod后，执行对应9093端口的转发命令：

kubectl port-forward kafka-broker-<你的pod后缀> 9093:9093

保持该命令窗口处于运行状态，不要关闭。

3. Offset Explorer配置调整 #

• Bootstrap servers 填写：localhost:9093
• Security Protocol 选择 PLAINTEXT
• 高级选项无需额外配置，直接测试连接即可。

备选方案：使用NodePort直接访问（无需端口转发） #

如果你的K8s集群节点可以被外部机器直接访问，可修改Service暴露9093端口：

apiVersion: v1
kind: Service
metadata:
  labels:
    app: kafka-service
  name: kafka-service
spec:
  type: NodePort
  selector:
    app: kafka-broker
  ports:
    - name: kafka-internal
      port: 9092
      targetPort: 9092
      nodePort: 30126
    - name: kafka-external
      port: 9093
      targetPort: 9093
      nodePort: 30127  # 自定义未占用的NodePort

同时修改Kafka的KAFKA_ADVERTISED_LISTENERS，将EXTERNAL部分改为你的集群节点IP：

- name: KAFKA_ADVERTISED_LISTENERS
  value: INTERNAL://kafka-service:9092,EXTERNAL://<集群节点IP>:30127

应用配置后，外部工具直接使用 <集群节点IP>:30127 作为Bootstrap servers连接即可。

额外检查项 #

• 确保本地机器防火墙未拦截9093端口
• 如果使用NodePort方案，确保集群节点的防火墙开放了30127端口

内容的提问来源于stack exchange，提问作者Roberto