在Apache Kafka创建主题遇错误，如何基于机架信息分配副本？

你遇到的这个错误是因为Kafka的**机架感知（rack-aware）**功能被触发，但集群中并非所有broker都配置了机架信息。下面分两部分来解决你的问题：

一、临时快速解决（你已了解的方法） #

如果只是临时需要创建主题，不想配置机架信息，可以在创建命令中添加--disable-rack-aware参数，跳过机架感知校验：

$KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testing --disable-rack-aware

二、实现基于机架信息的副本分配（长期方案） #

要让Kafka自动根据机架分布副本，提升集群的高可用性，需要完成以下步骤：

1. 为每个Broker配置机架信息 #

修改每个Kafka broker节点的$KAFKA_HOME/config/server.properties文件，添加对应的机架标识（比如你的集群有多个机架，可命名为rack1、rack2等）：

# 示例：将当前broker分配到rack1
broker.rack=rack1

注意：每个broker的机架配置要根据实际物理部署来设置，同一机架的broker设为相同的broker.rack值，不同机架的设为不同值。

2. 重启所有Kafka Broker #

配置修改后，需要重启每个broker服务让配置生效：

# 先停止broker
$KAFKA_HOME/bin/kafka-server-stop.sh
# 再启动broker
$KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties

3. 创建主题（无需添加--disable-rack-aware） #

此时再执行你最初的创建命令，Kafka会自动根据机架信息分配副本，确保副本尽可能分布在不同机架，提升故障容错能力：

$KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic testing

（这里建议把replication-factor设为大于1，才能体现机架感知的优势，比如3副本的话，Kafka会尽量把副本放在不同机架）

4. 验证副本分配情况 #

创建完成后，可以用以下命令查看主题的副本分布，确认是否按照机架分配：

$KAFKA_HOME/bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic testing

输出结果中会显示每个副本所在的broker及其对应的rack信息。

补充说明 #

机架感知的核心作用是避免单点故障：当某个机架出现故障时，其他机架上的副本依然可以提供服务，保证数据的可用性和完整性。只有当集群中所有broker都配置了broker.rack参数后，Kafka才能正常启用机架感知的副本分配策略。

内容的提问来源于stack exchange，提问作者Giorgos Myrianthous