Kubernetes上的Kafka无法接收外部Producer消息求助

一、核心配置要点 #

Kafka允许外部客户端访问的关键是正确配置监听地址和对外公告地址，这两个参数是必须调整的：

• listeners：定义Kafka服务监听的端口与协议，需同时包含集群内部和外部的监听规则，示例：PLAINTEXT://0.0.0.0:9092,PLAINTEXT_HOST://0.0.0.0:9093
• advertised.listeners：Kafka对外暴露给客户端的连接地址，外部Producer必须使用该地址连接，示例：PLAINTEXT://kafka-internal:9092,PLAINTEXT_HOST://<集群节点IP>:<NodePort端口>
  • 注意：<集群节点IP>是外部客户端能访问到的集群节点公网/内网IP，<NodePort端口>需在Kubernetes的NodePort范围（默认30000-32767）内

二、Rancher Catalog部署的Kafka调整 #

1. 进入Rancher对应项目的Kafka应用配置界面，找到「Kafka配置」相关选项
2. 配置listeners为包含内外监听的规则，比如：PLAINTEXT://0.0.0.0:9092,PLAINTEXT_HOST://0.0.0.0:9093
3. 配置advertised.listeners：内部地址用集群内Service名称，外部地址用节点IP+NodePort，比如：PLAINTEXT://kafka:9092,PLAINTEXT_HOST://192.168.1.100:30093
4. 在Service配置中，将9093端口设置为NodePort类型，指定或自动分配端口

三、YAML部署的Kafka调整 #

修改StatefulSet配置 #

在Kafka的StatefulSet中添加环境变量配置：

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: kafka
spec:
  template:
    spec:
      containers:
      - name: kafka
        env:
        - name: KAFKA_LISTENERS
          value: "PLAINTEXT://0.0.0.0:9092,PLAINTEXT_HOST://0.0.0.0:9093"
        - name: KAFKA_ADVERTISED_LISTENERS
          value: "PLAINTEXT://kafka:9092,PLAINTEXT_HOST://192.168.1.100:30093"
        - name: KAFKA_LISTENER_SECURITY_PROTOCOL_MAP
          value: "PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT"

配置外部访问Service #

创建NodePort类型的Service暴露外部端口：

apiVersion: v1
kind: Service
metadata:
  name: kafka-external
spec:
  type: NodePort
  ports:
    - port: 9093
      targetPort: 9093
      nodePort: 30093 # 可指定范围内端口，或留空自动分配
  selector:
    app: kafka

四、验证与排障 #

1. 集群内部验证：进入Kafka Pod，执行kafka-topics.sh --list --bootstrap-server localhost:9092确认服务正常
2. 外部Producer测试：使用Kafka客户端执行kafka-console-producer.sh --broker-list <节点IP>:<NodePort> --topic test-topic，输入消息后用内部Consumer确认是否接收成功
3. 网络检查：确保集群节点的NodePort端口已在防火墙/安全组中对外开放，外部客户端能ping通节点IP并访问该端口

常见坑点 #

• 禁止将advertised.listeners的外部地址设置为集群内部Service名称，外部客户端无法解析该地址
• 多节点集群可配置多个节点IP+NodePort作为外部地址，或使用LoadBalancer类型Service（云环境支持时）
• 必须保证KAFKA_LISTENER_SECURITY_PROTOCOL_MAP的配置与listeners的协议一一对应

内容的提问来源于stack exchange，提问作者Dilan Arango