如何在Kafka中增加Broker数量？解决副本因子超出可用Broker报错

你的报错原因很明确：当前Kafka集群只有1个可用Broker，而副本因子（replication factor）不能超过集群内的Broker总数，所以需要部署3个Broker节点来满足需求，具体操作步骤如下：

1. 复制并修改Kafka配置文件 #

找到Kafka安装目录下的config/server.properties，复制三份，分别命名为server-1.properties、server-2.properties、server-3.properties，然后分别修改这三个文件的关键参数：

• server-1.properties：

  # 每个Broker的唯一标识，不能重复
  broker.id=1
  # 监听端口，和默认的9092区分开
  listeners=PLAINTEXT://localhost:9093
  # 日志存储目录，单独指定避免冲突
  log.dirs=/tmp/kafka-logs-1
  

• server-2.properties：

  broker.id=2
  listeners=PLAINTEXT://localhost:9094
  log.dirs=/tmp/kafka-logs-2
  

• server-3.properties：

  broker.id=3
  listeners=PLAINTEXT://localhost:9095
  log.dirs=/tmp/kafka-logs-3
  

2. 启动新增的Broker节点 #

先确保你原来的默认Broker（用server.properties启动的）已经在运行，然后依次启动另外三个Broker：

# 启动第一个新增Broker
bin/kafka-server-start.sh config/server-1.properties

# 启动第二个新增Broker
bin/kafka-server-start.sh config/server-2.properties

# 启动第三个新增Broker
bin/kafka-server-start.sh config/server-3.properties

如果是Windows环境，替换为.bat脚本，比如bin/windows/kafka-server-start.bat

3. 验证Broker集群状态 #

执行以下命令查看当前集群的Broker数量：

bin/kafka-broker-api-versions.sh --bootstrap-server localhost:9092

输出结果里应该能看到3个不同broker.id的节点信息，说明集群搭建成功。

4. 重新创建目标Topic #

现在可以执行你最初的命令创建副本因子为3的topic了：

bin/kafka-topics.sh --create --topic activity-data --bootstrap-server localhost:9092 --replication-factor 3 --partitions 3

执行完成后，用下面的命令验证topic的副本分布：

bin/kafka-topics.sh --describe --topic activity-data --bootstrap-server localhost:9092

会看到每个partition的副本分别分布在3个Broker上，符合你的需求。

内容的提问来源于stack exchange，提问作者Anurag