docker-compose部署Kafka集群Broker退出码1报Cluster ID不匹配如何解决

问题根因 #

这个报错的本质是Broker本地存储的meta.properties文件中记录的集群ID，与Zookeeper集群中存储的集群ID不一致，你遇到的问题核心有三个：

1. 你没有配置Zookeeper集群的节点列表，三个Zookeeper实例都是独立单点，没有组成统一集群，Broker连接不同Zookeeper节点时会拿到不同的集群ID
2. 历史启动遗留的Docker匿名卷没有清理，旧的集群ID数据残留在Broker或Zookeeper的存储中，重启容器时数据没有重置
3. 启动顺序不合理，Zookeeper集群还未完全就绪就启动Broker，导致Broker生成错误的本地集群ID

解决方案 #

1. 补全Zookeeper集群配置 #

给三个Zookeeper服务都添加集群节点列表环境变量，确保三个Zookeeper实例组成统一集群：
在docker-compose.yml的每个zookeeper服务的environment配置块中新增：

ZOOKEEPER_SERVERS: zookeeper-1:2888:3888;zookeeper-2:2888:3888;zookeeper-3:2888:3888

2. 清理所有历史残留数据 #

执行以下命令删除所有关联容器和匿名卷，清空历史残留的集群数据：

docker compose down -v

3. 增加健康检查优化启动顺序 #

在services.yml的zookeeper配置块中新增健康检查，确保Zookeeper服务完全就绪后再启动Broker：

zookeeper:
  image: confluentinc/cp-zookeeper:6.2.1
  environment:
    ZOOKEEPER_TICK_TIME: 2000
    ZOOKEEPER_PEER_PORT: 2888
    ZOOKEEPER_LEADER_PORT: 3888
    ZOOKEEPER_INIT_LIMIT: 5
    ZOOKEEPER_SYNC_LIMIT: 2
  # 新增健康检查配置
  healthcheck:
    test: ["CMD", "zookeeper-shell", "localhost:2181", "ls", "/"]
    interval: 3s
    timeout: 3s
    retries: 10

同时修改docker-compose.yml中每个Broker的depends_on配置，改为等待Zookeeper健康：

depends_on:
  zookeeper-1:
    condition: service_healthy
  zookeeper-2:
    condition: service_healthy
  zookeeper-3:
    condition: service_healthy

4. 可选：自动清理旧ID配置 #

如果不想每次重建都手动清数据，可以给Broker添加启动命令，每次启动前自动删除本地的meta.properties文件，让Broker主动从Zookeeper拉取最新的集群ID：
在services.yml的broker配置块中新增：

command: >
  bash -c "rm -rf /var/lib/kafka/data/meta.properties 2>/dev/null && /etc/confluent/docker/run"

所有配置修改完成后重新启动集群即可解决该问题。

内容的提问来源于stack exchange，提问作者Eleandro Duzentos