Confluent Kafka与Zookeeper Docker镜像在Mac OS X上运行异常求助

嘿，我完全懂你的困扰——Docker Desktop for Mac确实不支持net=host参数，因为Mac上的Docker是跑在一个隐藏的虚拟机里的，和主机网络不是直接打通的。你移除net=host后单纯加端口映射没用，核心问题是Kafka的监听器配置没跟上，导致它无法正确对外暴露服务，也没法和ZooKeeper正常通信。我给你两个靠谱的解决方案：

方案1：使用Docker Compose（推荐） #

Confluent官方其实提供了适配Mac的Docker Compose配置，比单独跑容器更省心，还能自动管理容器间的网络。创建一个名为docker-compose.yml的文件，内容如下：

version: '3'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:latest
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
    ports:
      - "2181:2181"

  kafka:
    image: confluentinc/cp-kafka:latest
    depends_on:
      - zookeeper
    ports:
      - "9092:9092"
      - "29092:29092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:29092,PLAINTEXT_HOST://localhost:9092
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1

关键配置说明 #

• KAFKA_ADVERTISED_LISTENERS：这是重中之重！它定义了Kafka对外公布的连接地址：
  • PLAINTEXT://kafka:29092：供容器之间通信使用（Docker Compose会自动创建自定义网络，服务名kafka就是容器的主机名）
  • PLAINTEXT_HOST://localhost:9092：供Mac主机上的客户端连接使用
• KAFKA_INTER_BROKER_LISTENER_NAME：指定Kafka broker之间内部通信用的监听器，确保容器间通信正常

启动服务的命令：

docker-compose up -d

停止服务并清理容器的命令：

docker-compose down

方案2：单独运行容器（不用Compose） #

如果你不想用Compose，需要手动创建一个自定义Docker网络，让ZooKeeper和Kafka处于同一个网络，这样它们能通过容器名互相访问：

1. 创建自定义网络：

docker network create kafka-network

2. 启动ZooKeeper容器：

docker run -d \
  --name zookeeper \
  --network kafka-network \
  -p 2181:2181 \
  -e ZOOKEEPER_CLIENT_PORT=2181 \
  -e ZOOKEEPER_TICK_TIME=2000 \
  confluentinc/cp-zookeeper:latest

3. 启动Kafka容器：

docker run -d \
  --name kafka \
  --network kafka-network \
  -p 9092:9092 \
  -e KAFKA_BROKER_ID=1 \
  -e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \
  -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka:29092,PLAINTEXT_HOST://localhost:9092 \
  -e KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT \
  -e KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT \
  -e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 \
  confluentinc/cp-kafka:latest

验证服务是否正常 #

你可以用Kafka自带的命令行工具测试：

1. 创建测试主题：

docker exec -it kafka kafka-topics --create --topic test-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

2. 发送测试消息：

docker exec -it kafka kafka-console-producer --topic test-topic --bootstrap-server localhost:9092

输入消息后按回车发送，按Ctrl+C退出。

3. 接收测试消息：

docker exec -it kafka kafka-console-consumer --topic test-topic --bootstrap-server localhost:9092 --from-beginning

你应该能看到刚才发送的消息。

常见坑提醒 #

• 不要把KAFKA_ADVERTISED_LISTENERS只设成localhost:9092，否则容器内的Kafka会告诉客户端连接容器内部的localhost，而不是Mac主机的localhost
• 必须用自定义网络，不要用默认的bridge网络（默认bridge网络的DNS解析可靠性较差，容器间可能无法通过名字通信）
• 如果之前运行过旧的容器，记得清理残留：docker rm -f zookeeper kafka，docker network rm kafka-network

内容的提问来源于stack exchange，提问作者Jared Hooper