Kafka分区副本已持久化消息但Leader认为未确认是否可能？

问题背景与场景 #

假设Kafka集群配置为：副本因子rf=3，最小同步副本数min.isr=2，生产者使用acks=all。

正常消息流程：

• 生产者向分区Leader发送消息
• Follower定期向Leader拉取消息
• 副本将消息写入磁盘（页缓存+刷盘）后，向Leader发送确认（通过Fetch请求的响应）
• Leader收到足够数量的确认（满足min.isr）后，向生产者返回成功确认

疑问场景：
若Follower已将消息写入磁盘，但因丢包、网络故障或进程崩溃，无法向Leader发送确认响应。此时Leader是否会认为该副本未持久化消息，进而向生产者返回失败，但副本的物理段文件中实际已存在该消息？

回答 #

这种情况确实会发生，核心逻辑如下：

1. Kafka的Leader判断Follower是否完成消息持久化，完全依赖Follower在FetchResponse中主动上报的已同步偏移量，Leader不会主动校验Follower的磁盘文件状态。
2. 当Follower完成消息写入磁盘（无论是否刷盘）后，若因网络丢包、进程崩溃等问题，没能将包含该消息偏移量的FetchResponse发送给Leader，或者Leader未接收到该响应：
   • Leader会将该Follower标记为未同步状态，不会将其计入满足min.isr的副本数
   • 如果此时同步副本数不足min.isr（比如仅Leader自身完成持久化，另一个Follower未发回确认），Leader会向生产者返回NotEnoughReplicas错误，生产者会触发重试
3. 后续恢复：
   • 当Follower进程重启或网络恢复后，它会重新发起Fetch请求，并携带自己当前的高水位偏移量（即已持久化的消息偏移）。Leader对比后会确认该Follower已同步目标消息，将其重新加入同步副本列表
   • 但在Follower失联期间，Leader确实会持续认为该副本未确认消息，即便副本磁盘上已经存在对应数据

内容的提问来源于stack exchange，提问作者livkonrol