为何Kafka中部分replica未被列入broker列表？有何影响？

你执行的检测逻辑如下：

# meta is kafka's ClusterMetadata
for partition_id, partition in meta.topics[topic].partitions.items():
  for repl in partition.replicas:
    if repl not in meta.brokers:
      print("replica not in broker")

该现象的含义 #

meta.brokers返回的是当前已向集群控制器（ZooKeeper/KRaft模式）完成注册、正常存活的Broker节点列表。出现副本不在该列表的情况，通常对应两种场景：

• 集群此前发生过Broker节点缩容、或者Broker节点异常崩溃下线，但是对应节点的副本重分配操作未执行/执行中断，分区的副本分配配置中仍残留了已下线节点的ID
• 集群刚刚完成Broker扩容/缩容后，元数据同步存在延迟，你拉取的ClusterMetadata是旧版本数据（如果延迟一段时间后检测仍有该问题，即可排除该场景）

异常副本是否会同步Leader数据 #

不会。
Kafka控制器只会给当前集群存活的Broker分配副本同步任务，不在存活列表的节点没有对应的运行进程，也不会被控制器纳入同步链路识别，无法拉取Leader节点的消息数据。

对Partition的影响 #

你的Topic配置为3副本，出现该异常后会产生如下影响：

• 分区实际可用副本数低于配置值，可用性下降：如果剩余2个有效副本再出现1个异常，分区就会处于不可用状态，无法提供读写服务
• 如果你的集群配置的min.insync.replicas为2，当有效ISR数量低于该阈值时，生产者使用acks=all的写入请求会直接报错
• 集群的UnderReplicatedPartitions告警会持续触发，影响集群健康度检测结果，同时控制器会持续生成副本修复逻辑，增加额外的元数据调度开销

修复建议 #

先排查是否存在未完成的副本重分配任务，确认异常节点确实已经永久下线后，将分区的无效副本替换为当前集群存活的Broker节点，重新执行副本重分配即可解决问题。

内容的提问来源于stack exchange，提问作者Thomas