添加新Broker后同步Kafka主题分区的方法（Confluent 5.5社区版）

前提条件 #

• 新增Broker节点已完成配置并成功加入集群，Broker ID唯一，listeners、zookeeper.connect等核心配置与集群其他节点一致。
• 现有Broker和ZooKeeper节点运行稳定，集群状态正常。

方案步骤 #

1. 生成分区重分配计划 #

社区版Kafka自带免费的kafka-reassign-partitions.sh工具（位于安装目录的bin文件夹下），可用于生成或执行分区重分配操作。

方式一：自动生成计划

先创建一个包含需要调整的主题的JSON文件（示例命名为topics-to-reassign.json）：

{
  "topics": [
    {"topic": "user_behavior"},
    {"topic": "order_log"}
  ],
  "version": 1
}

执行以下命令，指定目标Broker列表（包含新增的Broker ID，例如原Broker为1-4，新增为5），生成重分配计划：

kafka-reassign-partitions.sh --zookeeper zk1:2181,zk2:2181,zk3:2181 --topics-to-move-json-file topics-to-reassign.json --broker-list "1,2,3,4,5" --generate

命令会输出两个关键内容：

• 现有分区分配情况（建议备份，用于异常回滚）
• 系统建议的重分配计划（复制到新文件，例如reassignment-plan.json）

方式二：手动编写计划

如果需要精细控制分区分布，可手动编写reassignment-plan.json，示例格式如下：

{
  "version": 1,
  "partitions": [
    {"topic": "user_behavior", "partition": 0, "replicas": [1,5]},
    {"topic": "user_behavior", "partition": 1, "replicas": [2,5]},
    {"topic": "order_log", "partition": 0, "replicas": [3,5]},
    {"topic": "order_log", "partition": 1, "replicas": [4,5]}
  ]
}

注意：需保证每个分区的副本数量与原主题配置一致，避免影响集群可用性。

2. 执行分区重分配 #

使用生成的重分配计划文件执行同步操作：

kafka-reassign-partitions.sh --zookeeper zk1:2181,zk2:2181,zk3:2181 --reassignment-json-file reassignment-plan.json --execute

3. 监控同步进度 #

执行以下命令查看重分配状态：

kafka-reassign-partitions.sh --zookeeper zk1:2181,zk2:2181,zk3:2181 --reassignment-json-file reassignment-plan.json --verify

当输出显示所有分区的重分配状态为Success时，说明分区同步完成。

4. 可选：调整优先副本（均衡leader分布） #

如果需要让新Broker成为部分分区的领导者，可触发优先副本选举：

kafka-preferred-replica-election.sh --zookeeper zk1:2181,zk2:2181,zk3:2181

注意事项 #

• 重分配过程会占用集群带宽和磁盘资源，建议在业务低峰期执行。
• 确保新Broker的磁盘空间、网络带宽充足，避免同步过程中出现性能瓶颈。
• 执行前务必备份现有分区分配计划，以便异常时快速回滚。

内容的提问来源于stack exchange，提问作者prakasun