Kafka如何检测非干净领导者选举及新领导者的干净性？

一、怎么判断新领导者是不是干净状态？ #

Kafka判断新领导者是否处于干净状态（也就是原leader挂的时候它还跟leader同步着），主要靠两个核心机制：ISR（同步副本集合）和高水位（High Watermark, HW），具体逻辑如下：

• ISR是核心筛选器：每个分区都会维护一个ISR列表，只有跟leader日志完全同步的副本才会留在里面（要求副本的日志末端偏移量LEO≥leader的HW，而且能定期给leader发心跳）。原leader挂了之后，默认情况下Kafka只会从ISR里挑新leader，这样选出来的肯定是干净状态——它的日志跟原leader完全同步到了原leader的HW位置。

• 针对你说的那个场景，检测过程是这样的：

  1. 副本3下线后，leader1和副本2正常同步，这时候ISR列表是[1,2]，副本3被踢出去了；
  2. 等1和2都挂了，副本3重新上线，它的日志末端还停留在下线前的位置，比原leader1的HW低很多（原leader已经写了3下线期间的新消息）；
  3. 这时候Kafka先看候选副本在不在原ISR列表里：副本3不在，默认情况下根本没法当选leader；只有开了unclean.leader.election.enable这个参数，才允许非ISR副本当leader，而这种情况选出来的就是非干净状态——Kafka是通过对比候选副本的LEO和原leader的HW来判断的：如果候选副本的LEO < 原leader的HW，就认定它是非干净的。

二、每条消息都存偏移量到ZK会不会低效？ #

完全不会，因为Kafka根本不会每条消息都把偏移量存到ZK（或者现在的KRaft控制器）：

• 早期用ZK的时候：Kafka只会把分区的元数据（比如leader是谁、ISR列表、分区的HW值这些）定期同步到ZK，不是每条消息的偏移量。同步频率是可控的，而且是批量更新，不会给ZK造成高频写压力。
• 现在用KRaft模式：元数据存在Kafka自己的控制器节点里，靠Raft协议同步，同样是针对分区级别的元数据做批量更新，不是每条消息都写，性能比ZK模式还更好。

说白了，Kafka只存分区层面的关键元数据，不会管单条消息的偏移量，自然不存在低效的问题。

内容的提问来源于stack exchange，提问作者Ivan