单AWS EC2部署3个Kafka Broker创建Topic超时：Timed out waiting for node assignment

问题场景 #

在单台远程AWS EC2机器上部署1个Kafka Zookeeper、3个Kafka Broker，尝试创建Topic时出现超时错误。

配置操作步骤 #

• 复制server.properties生成server_1.properties和server_2.properties
• 修改三个配置文件的核心参数：
  • broker.id分别设置为0、1、2
  • advertised.listeners分别配置为PLAINTEXT://3.72.250.103:9092、PLAINTEXT://3.72.250.103:9093、PLAINTEXT://3.72.250.103:9094
  • log.dirs分别改为/tmp/kafka-logs、/tmp/kafka-logs_1、/tmp/kafka-logs_2

当前状态 #

• 三个Broker均可正常启动，执行以下命令能看到所有Broker ID：

  bin/zookeeper-shell.sh localhost:2181 ls /brokers/ids
  

• 执行Topic创建命令时触发超时错误：

  bin/kafka-topics.sh --bootstrap-server localhost:9092,localhost:9093,localhost:9094 --create --partitions 5 --replication-factor 1 --topic cars
  

  错误信息：Timed out waiting for node assignment

已尝试的操作 #

• 仅部署1个Broker时可正常创建Topic
• 仅使用localhost:9092作为--bootstrap-server仍无法创建Topic
• 将listeners=PLAINTEXT://:9092改为PLAINTEXT://3.72.250.103:9092及对应端口后，Broker无法启动

排查与解决建议 #

1. 修正listeners配置 #

EC2机器绑定公网IP直接设置listeners会导致Broker启动失败，正确配置方式：

• 每个Broker的listeners设为PLAINTEXT://0.0.0.0:909X（X对应2、3、4），让Broker监听所有网卡
• 保持advertised.listeners为PLAINTEXT://3.72.250.103:909X，确保外部客户端能识别Broker的公网地址

2. 检查EC2安全组与防火墙 #

• 确保EC2安全组开放9092、9093、9094端口的入站流量，允许你的客户端IP（或本地IP）访问
• 检查EC2内部防火墙（如iptables），确认没有拦截这些端口的内部或外部通信

3. 调整客户端连接参数 #

创建Topic时增加超时时间，避免因网络延迟导致超时：

bin/kafka-topics.sh --bootstrap-server 3.72.250.103:9092,3.72.250.103:9093,3.72.250.103:9094 --create --partitions 5 --replication-factor 1 --topic cars --request-timeout-ms 30000

4. 验证端口连通性 #

• 在EC2机器内部验证本地端口：

  telnet localhost 9092
  telnet localhost 9093
  telnet localhost 9094
  

• 从本地客户端验证公网端口：

  telnet 3.72.250.103 9092
  

  确保所有端口都能正常连通

5. 分析Broker日志 #

查看每个Broker的日志文件（对应log.dirs目录下的server.log），搜索Timeout或Error关键词，定位具体失败原因，比如Zookeeper连接异常、端口绑定失败等

内容的提问来源于stack exchange，提问作者Hinkakan