在Amazon EC2的Docker容器中运行Kafka时发布消息失败

我来帮你搞定这个跨EC2实例发消息失败的问题，核心原因大概率是Kafka的通告地址配置和EC2的网络环境不匹配，咱们一步步来排查解决：

1. 修正Kafka的ADVERTISED_HOST配置 #

你现在启动Kafka容器时把ADVERTISED_HOST设成了kafka（容器的主机名），这个名称只有容器内部或者同一EC2上的服务能解析到，另一台EC2根本不知道它指向哪里。

你需要把这个参数改成运行Kafka容器的EC2实例的IP地址：

• 如果两台EC2在同一个VPC里，用私有IP更安全（比如10.0.0.10）
• 如果需要通过公网访问，就用EC2的弹性IP（避免重启EC2后IP变化）

修改后的启动命令示例：

docker run --name kafka -i -t -p 2181:2181 -p 9092:9092 --env ADVERTISED_HOST=10.0.0.10 --env ADVERTISED_PORT=9092 spotify/kafka

2. 检查EC2安全组的入站规则 #

另一台EC2要能访问Kafka所在EC2的端口，必须在安全组里放开对应权限：

• 登录AWS控制台，找到Kafka所在的EC2实例，打开它的安全组配置
• 添加两条入站规则：
  • 允许TCP流量到2181端口（ZooKeeper，部分工具会用到）
  • 允许TCP流量到9092端口（Kafka Broker，生产者/消费者核心端口）
  • 来源选择另一台EC2的私有IP（或者VPC的CIDR范围，比如10.0.0.0/16），如果是公网访问就填对应公网IP

3. 修正生产者命令的--broker-list参数 #

你之前的生产者命令里用docker_...肯定不对，要改成Kafka所在EC2的IP加上9092端口。正确的命令示例：

./kafka-console-producer.sh --broker-list 10.0.0.10:9092 --topic your-test-topic

4. 额外排查点（如果上述步骤无效） #

• 确认Kafka容器正常运行：执行docker ps，看kafka容器状态是Up，且端口映射0.0.0.0:2181->2181/tcp、0.0.0.0:9092->9092/tcp存在
• 在另一台EC2上测试网络连通性：用telnet 10.0.0.10 9092，如果不通，说明安全组或子网路由有问题
• 查看Kafka容器日志：docker logs kafka，排查是否有地址绑定失败、权限错误等日志信息

内容的提问来源于stack exchange，提问作者bigskull