Kubernetes中Kafka StatefulSet多Broker的SASL_PLAINTEXT配置求助

我在Kubernetes中部署了一个扩容至3个Pod的Kafka StatefulSet，希望所有Kafka Broker都能通过SASL_PLAINTEXT机制建立连接，但目前仅一个Broker可正常连接，其余Broker均被阻止。

报错信息 #

java.lang.IllegalArgumentException: requirement failed: Configured endpoints xx.x.x.xxx:9094 in advertised listeners are already registered by broker 2

挂载的kafka_jaas.json配置 #

KafkaClient {
    org.apache.kafka.common.security.plain.PlainLoginModule required 
    username="kafka-user" 
    password="kafka-password" 
    user_kafka="kafka-password";
    };
KafkaServer {
    org.apache.kafka.common.security.plain.PlainLoginModule required 
    username="kafka-user" 
    password="kafka-password" 
    user_kafka="kafka-password";
    };

Listeners相关环境变量配置 #

- name: KAFKA_LISTENERS
  value: "INSIDE://:9092,LB://:9094,CONTROLLER://:9093"
- name: KAFKA_ADVERTISED_LISTENERS
  value: "INSIDE://:9092,LB://xx.x.x.xxx:9094,CONTROLLER://:9093"
- name: KAFKA_LISTENER_SECURITY_PROTOCOL_MAP
  value: "INSIDE:SASL_PLAINTEXT,LB:SASL_PLAINTEXT,CONTROLLER:SASL_PLAINTEXT"

- name: KAFKA_INTER_BROKER_LISTENER_NAME
  value: "INSIDE"

- name: KAFKA_CONTROLLER_LISTENER_NAME
  value: "CONTROLLER"

- name: KAFKA_CONTROLLER_SHUTDOWN_ENABLE
  value: "false"
- name: KAFKA_SASL_MECHANISM_CONTROLLER_PROTOCOL
  value: "PLAIN" 
- name: KAFKA_SASL_MECHANISM_INTER_BROKER_PROTOCOL
  value: "PLAIN" 
- name: KAFKA_SASL_ENABLED_MECHANISMS
  value: "PLAIN" 

（注：xx.x.x.xxx为Kafka服务负载均衡器的外部IP地址）

使用的镜像 #

• Kafka镜像：wurstmeister/kafka:2.12-2.2.1
• ZooKeeper镜像：zookeeper:3.5

问题分析与解决方法 #

核心原因 #

报错的本质是所有Broker都配置了相同的LB://xx.x.x.xxx:9094作为对外监听地址，导致ZooKeeper中存储的Broker注册信息冲突，后续Broker启动时检测到重复端点，触发初始化失败。

修复步骤 #

1. 为每个Broker分配唯一的对外监听标识
   利用StatefulSet的Pod域名特性，修改KAFKA_ADVERTISED_LISTENERS，让外部监听地址包含Broker的唯一标识，同时配合负载均衡的多端口转发：

   - name: KAFKA_ADVERTISED_LISTENERS
     value: "INSIDE://$(POD_NAME).kafka-headless:9092,LB://xx.x.x.xxx:$(BROKER_EXTERNAL_PORT),CONTROLLER://$(POD_NAME).kafka-headless:9093"
   

   其中：

   • $(POD_NAME)通过Kubernetes Downward API注入，对应StatefulSet的Pod名称（如kafka-0、kafka-1）
   • $(BROKER_EXTERNAL_PORT)为每个Broker分配唯一的外部端口（比如9094、9095、9096），同时在负载均衡Service中配置端口映射，将外部端口转发到对应Pod的9094端口。

2. 确保broker.id唯一
   StatefulSet中每个Pod的KAFKA_BROKER_ID必须唯一，建议通过Pod序号自动生成：

   - name: KAFKA_BROKER_ID
     valueFrom:
       fieldRef:
         fieldPath: metadata.name
   

   配合初始化脚本提取Pod名称中的序号作为broker.id：

   export KAFKA_BROKER_ID=$(echo $POD_NAME | awk -F'-' '{print $2}')
   

3. 验证配置挂载与权限
   确认所有Pod都正确挂载了kafka_jaas.json文件，且Kafka进程对该文件拥有读取权限。

4. 调整Service配置
   如果使用负载均衡Service，需开启多端口转发；或改用NodePort类型Service，为每个Broker分配独立的NodePort，外部客户端通过NodeIP:NodePort访问对应Broker。

内容的提问来源于stack exchange，提问作者Nesrinehk1