Docker部署Wurstmeister Kafka无法生产消息及配置咨询

这个问题我之前也碰到过，核心是Docker网络隔离特性和Kafka的**广告地址（Advertised Address）**逻辑不匹配导致的，我来给你拆解清楚：

为什么会出现超时错误？ #

你第一个docker-compose.yml里把KAFKA_ADVERTISED_HOST_NAME设为了localhost，这里踩了Docker网络的坑：

• 容器内部的localhost和宿主机的localhost是完全独立的网络空间，不是一回事！
• 当宿主机上的kafka-console-producer.sh通过localhost:9092（端口映射）连接到Kafka broker时，broker会把自己配置的广告地址localhost:9092返回给生产者。
• 生产者收到这个地址后，会尝试连接自己所在的宿主机的localhost:9092，但此时这个端口只是映射到容器，生产者无法直接和容器内的broker建立正确的通信链路，最终导致消息发送超时。

而你用network_mode: host能正常运行，是因为host模式下容器直接复用宿主机的网络栈，容器里的localhost就是宿主机的localhost，广告地址和实际通信地址完全一致，自然不会有问题。

解决方案：三种配置方式任选 #

方案1：用宿主机IP配置广告地址（最适合宿主机程序访问） #

把KAFKA_ADVERTISED_HOST_NAME替换成你的宿主机实际IP（比如局域网IP192.168.1.100），这样Kafka broker会把宿主机IP告诉生产者，生产者就能正确通过端口映射连接到容器内的Kafka：

version: "2.1"
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
  kafka:
    image: wurstmeister/kafka
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 192.168.1.100  # 替换为你的宿主机实际IP
      KAFKA_ADVERTISED_PORT: 9092
      KAFKA_CREATE_TOPICS: "test:3:1"
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

修改后重启容器，宿主机上的Python/Java程序、kafka-console-producer.sh都能通过localhost:9092或宿主机IP:9092正常发送消息。

方案2：自定义Docker网络+容器名称（适合多容器协作） #

如果你的生产者也是Docker容器，可以创建一个自定义网络，让Kafka和生产者容器都加入这个网络，用容器名称作为广告地址（Docker会自动解析容器名称到IP）：

1. 先创建自定义网络：

docker network create kafka-network

2. 修改docker-compose.yml加入网络配置：

version: "2.1"
networks:
  kafka-network:
    external: true
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
    networks:
      - kafka-network
  kafka:
    image: wurstmeister/kafka
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: kafka  # 容器名称，自定义网络内可直接解析
      KAFKA_ADVERTISED_PORT: 9092
      KAFKA_CREATE_TOPICS: "test:3:1"
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
    networks:
      - kafka-network

同一网络下的容器可以用kafka:9092访问Kafka；宿主机程序还是需要用宿主机IP+9092端口访问。

方案3：保留host模式（简单但有局限性） #

你已经验证过这种方式可行，优点是配置简单，不用纠结IP，但缺点是容器会直接占用宿主机端口，无法在同一宿主机上运行多个同端口的Kafka容器，且丧失了容器的网络隔离性。

验证步骤 #

修改配置后，重启容器：

docker-compose down && docker-compose up -d

然后重新运行生产者测试：

~/kafka_2.11-1.0.0$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

发送消息应该就能正常成功了！

内容的提问来源于stack exchange，提问作者BAE