Docker部署Kafka集群容器正常运行但集群离线，是否因内存不足？

主要原因分析 #

1. 广告地址配置错误 #

你当前设置的KAFKA_ADVERTISED_HOST_NAME=127.0.0.1会引发两个关键问题：

• 容器内的Broker之间通信时，都会尝试连接127.0.0.1，但每个容器的127.0.0.1仅指向自身，导致Broker无法相互发现；
• Kafka UI通过kafka:9092连接Broker后，Broker返回的广播地址是127.0.0.1，UI容器无法通过该地址访问集群内其他节点，最终判定集群离线。

2. 内存资源不足 #

wurstmeister/kafka镜像默认JVM堆内存配置较高（通常为-Xmx1G），4GB内存同时运行1个ZooKeeper、3个Kafka Broker和1个Kafka UI时，总内存需求会接近甚至超过系统上限，导致Broker无法完全启动或无法正常响应请求，进而被UI判定为离线。

修复步骤 #

1. 修改docker-compose配置文件 #

更新配置以解决地址和内存问题：

version: "3.2"
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
    environment:
      ZOO_HEAP_SIZE: 256M  # 限制ZooKeeper内存占用

  kafka:
    image: wurstmeister/kafka
    depends_on:
      - zookeeper
    ports:
      - "9092-9094:9093"  # 主机端口9092-9094映射到容器外部监听端口9093
    environment:
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      # 配置双监听：内部通信用容器服务名，外部访问用localhost
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092,PLAINTEXT_HOST://0.0.0.0:9093
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092,PLAINTEXT_HOST://127.0.0.1:${KAFKA_PORT}
      KAFKA_HEAP_OPTS: "-Xmx512M -Xms512M"  # 降低每个Broker的内存占用
      KAFKA_BROKER_ID: -1  # 自动生成唯一Broker ID，避免扩容时冲突
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

  kafkaui:
    image: provectuslabs/kafka-ui
    depends_on:
      - kafka
      - zookeeper
    ports:
      - "8080:8080"
    environment:
      KAFKA_CLUSTERS_0_NAME: local
      KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS: "kafka:9092"  # 通过内部监听地址连接集群

2. 重新部署集群 #

• 先停止并清理现有容器：

  docker-compose down
  

• 启动并扩容到3个Broker：

  docker-compose up -d --scale kafka=3
  

3. 验证内存与集群状态 #

• 用docker stats查看容器内存占用，若仍有压力，可进一步降低KAFKA_HEAP_OPTS的值（如-Xmx256M -Xms256M）；
• 访问http://127.0.0.1:8080检查UI状态，也可通过ZooKeeper客户端验证Broker注册情况：

  docker exec -it <zookeeper-container-id> zkCli.sh
  # 在客户端内执行：
  ls /brokers/ids
  

  返回类似[0,1,2]的ID列表，说明Broker已成功注册。

内容的提问来源于stack exchange，提问作者marietar