Kafka哈希分区存满后同Key新消息的处理逻辑与去向问询

1. 通用场景：哈希分区存满后接收同Key新消息的表现 #

• 生产者发送消息会直接失败，收到服务器返回的磁盘空间不足类异常（如NotEnoughSpace或对应版本的错误码）。
• 若生产者配置了retries参数，会自动重试发送，但只要目标分区所在磁盘未释放空间，重试最终仍会失败。
• 哈希分区策略严格按Key哈希值绑定固定分区，不会因目标分区不可用而自动路由到其他分区——这是为了保证同Key消息的顺序性，属于设计上的强制约束。

2. 具体场景分析：多Broker多分区下的Key='A'消息处理 #

假设TopicA部署在2个Broker上，每个Broker含4个分区（共8个分区），Key='A'的消息经哈希计算固定映射到其中一个Broker的某个分区，且该分区所在磁盘已存满：

新消息状态 #

• 所有同Key的新消息处于未持久化、未确认状态，无法完成正常的写入流程。

Kafka的处理方式 #

• 目标分区所在Broker会直接返回空间不足的错误响应给生产者，拒绝写入请求。
• Kafka不会触发分区转移或消息重路由，因为哈希分区的核心逻辑是保证同Key消息的全局顺序，一旦变更分区会破坏顺序性。
• 若磁盘空间持续不足，该分区会进入只读模式，仅允许消费操作，彻底拒绝所有写入。

消息去向 #

• 未发送成功的消息会暂存在生产者的发送缓冲区（由buffer.memory配置大小），当缓冲区耗尽时，生产者会根据max.block.ms配置，要么阻塞等待空间释放，要么直接抛出TimeoutException。
• 若生产者未配置足够的重试次数或重试超时，且未实现本地消息持久化逻辑，这些未发送的消息会直接丢失。

内容的提问来源于stack exchange，提问作者Kushal Gupta