Kafka分区溢出处理机制及自定义分区逻辑下的消息投递疑问

好问题！这确实是生产环境中使用Kafka时容易遇到的边界场景，我来给你拆解清楚：

当Kafka分区超出存储限制被占满时会发生什么？ #

首先得区分两种“占满”的情况，它们的表现完全不同：

• 磁盘物理空间被耗尽：
  • 该节点上的所有分区（包括这个满的分区）都会进入无法写入的状态。Kafka Broker会切换到只读模式，生产者往这些分区发送消息时会收到DiskFull或NotEnoughReplicas之类的异常，消息无法成功投递——哪怕你配置了生产者重试，也没用，因为磁盘根本写不进去。
  • 消费者还能正常读取分区中已有的消息，但消费到最新位置后，就没有新消息可以继续读取了。
• 分区日志达到配置的存储上限（比如log.retention.bytes）：
  • Kafka会自动触发日志清理机制（默认是删除旧的日志段，如果你配置了日志压缩策略，就会对旧日志进行压缩），自动腾出空间给新消息。这种情况下生产者的写入完全不受影响，特定键的消息还是会正常投递到目标分区。

自定义分区逻辑下，目标分区满了之后，特定键的消息会投递到随机分区吗？ #

答案是不会，Kafka不会替你自动切换分区，完全遵循你自定义的分区逻辑：

• 当你通过自定义分区器指定了特定键必须投递到某一分区，而该分区因为磁盘满了、Broker宕机或ISR副本不足等原因无法写入时，生产者发送消息会直接抛出异常（比如TimeoutException、DiskFullException），消息投递失败。
• 只有你在生产者代码中手动添加了异常 fallback 逻辑——比如捕获投递失败的异常后，重新选择一个可用分区再发送，才会让消息转到其他分区。举个简单的自定义分区器示例：

public class CustomPartitioner implements Partitioner {
    @Override
    public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
        // 固定将"special_key"的消息投递到分区0
        if ("special_key".equals(key)) {
            return 0;
        }
        // 其他键按哈希分配分区
        return Math.abs(key.hashCode()) % cluster.partitionCountForTopic(topic);
    }

    @Override
    public void close() {}

    @Override
    public void configure(Map<String, ?> configs) {}
}

当分区0不可写时，发送"special_key"的消息会直接失败，不会自动转到其他分区。

内容的提问来源于stack exchange，提问作者AbhinavChoudhury