Kafka 2.6.1扩容分区时原有分区副本数临时增加的原因及机制

核心原因 #

你遇到的情况是在执行分区扩容操作时，误将Topic的全局副本数参数一并修改，导致原有30个分区的副本数从2被调整为3，额外的副本数据占用了更多磁盘空间。

背后的Kafka机制 #

Kafka中，Topic的副本数（replication.factor）是全局配置项，当你使用kafka-topics.sh的--alter命令修改Topic属性时，如果同时指定了--replication-factor参数，Kafka会对整个Topic的所有分区（包括原有分区和新增分区）统一应用新的副本数配置：

• 初始状态：test Topic的replication.factor=2，30个分区各有2个副本，总副本数为30*2=60。
• 错误扩容命令示例：

  kafka-topics.sh --bootstrap-server <broker地址> --alter --topic test --partitions 40 --replication-factor 3
  

• 执行该命令后，Kafka会触发两个核心操作：
  1. 新增10个分区，每个分区按replication-factor=3创建3个副本。
  2. 对原有30个分区执行副本扩容：从2副本增加到3副本，Kafka会在集群中选取合适的Broker节点创建新副本，并同步原有分区的全量数据，这直接导致磁盘容量显著上升（原有30个分区多了30个副本，总副本数变为40*3=120）。

另外还有一种罕见情况：如果修改了集群的default.replication.factor配置，且后续手动执行alter操作未明确指定副本数，但这种情况不会自动触发原有分区副本数变更，更多还是手动指定参数导致的误操作。

内容的提问来源于stack exchange，提问作者Rui