同一Ubuntu主机部署两套独立ZooKeeper/Kafka集群可行吗？

可以在单台Ubuntu主机上运行两套完全独立的Kafka+ZooKeeper集群，你的问题出在配置遗漏和systemd服务冲突上，以下是具体的排查和修复步骤：

一、ZooKeeper配置补充（你遗漏的关键项） #

除了dataDir和clientPort，还必须配置以下内容避免冲突：

• dataLogDir：默认会复用dataDir存储事务日志，两套ZK写同一个目录会导致数据损坏，必须为每个ZK指定独立的日志目录
• 独立的systemd服务文件：不能共用同一个zookeeper.service，要为两套ZK分别创建zookeeper1.service和zookeeper2.service，否则启动时会互相覆盖进程导致崩溃

ZK配置示例（zookeeper1.properties） #

dataDir=/var/lib/zookeeper1
dataLogDir=/var/log/zookeeper1
clientPort=2181
tickTime=2000
initLimit=5
syncLimit=2

ZK systemd服务示例（zookeeper1.service） #

[Unit]
Description=ZooKeeper Cluster 1
Requires=network.target
After=network.target

[Service]
Type=forking
User=kafka
Group=kafka
ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper1.properties
ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

复制上述文件修改为zookeeper2.service，对应调整配置文件路径、端口和目录即可。

二、Kafka配置补充（你遗漏的关键项） #

除了你已修改的配置，还需解决以下冲突点：

• JMX端口冲突：默认Kafka使用9999作为JMX端口，6个实例会抢占该端口导致服务崩溃，必须为每个Kafka实例指定唯一的JMX端口
• 独立的systemd服务文件：每个Kafka实例需要单独的kafka1.service、kafka2.service...kafka6.service，避免启动时进程互相干扰
• 客户端命令需指定目标集群：执行kafka-topics等命令时，必须明确指定对应集群的bootstrap-server或ZK地址，否则会连接到错误的集群导致无返回

Kafka配置示例（kafka1的server.properties） #

broker.id=1
listeners=PLAINTEXT://localhost:9092
advertised.listeners=PLAINTEXT://localhost:9092
zookeeper.connect=localhost:2181
log.dirs=/var/lib/kafka1
jmx.port=9992  # 每个实例用不同端口，比如9992-9997

Kafka systemd服务示例（kafka1.service） #

[Unit]
Description=Kafka Broker 1 (Cluster 1)
Requires=zookeeper1.service
After=zookeeper1.service

[Service]
Type=simple
User=kafka
Group=kafka
Environment="KAFKA_HEAP_OPTS=-Xmx1G -Xms1G"
Environment="JMX_PORT=9992"  # 与server.properties中jmx.port对应
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server1.properties
ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

为每个Kafka实例复制并修改上述文件，注意对应依赖的ZK服务、配置文件路径和JMX端口。

三、问题修复步骤 #

1. 停止所有已运行的ZK和Kafka服务：sudo systemctl stop zookeeper kafka（如果有残留进程，用ps aux | grep kafka或ps aux | grep zookeeper手动杀死）
2. 创建并配置好所有独立的ZK和Kafka配置文件
3. 创建对应的systemd服务文件，执行sudo systemctl daemon-reload使配置生效
4. 按集群顺序启动服务：先启动zookeeper1，再启动kafka1、kafka2、kafka3；再启动zookeeper2，然后启动kafka4、kafka5、kafka6
5. 验证第一套集群主题：执行kafka-topics --list --bootstrap-server localhost:9092，即可看到该集群的主题列表

内容的提问来源于stack exchange，提问作者Michael C