如何在Kafka发送记录前获取其对应的分区编号

当然可以！在调用producer.send(record)之前，完全能提前算出这条记录会被投递到哪个分区，具体分几种情况来看：

• 手动指定了分区的情况
  如果你在创建ProducerRecord的时候已经明确指定了分区号，那直接调用record.partition()就能拿到这个编号，这是最直接的方式。比如：

  ProducerRecord<String, String> record = new ProducerRecord<>("my_topic", 2, "key", "value");
  int targetPartition = record.partition(); // 这里会返回2
  

• 使用默认分区器（DefaultPartitioner）的情况
  如果没手动指定分区，Kafka默认会根据记录的key哈希值来分配分区（如果key不为null），如果key为null则会轮询所有分区。你可以手动调用默认分区器的partition方法提前计算：

  import org.apache.kafka.clients.producer.DefaultPartitioner;
  import org.apache.kafka.clients.producer.ProducerRecord;
  import org.apache.kafka.common.Cluster;
  import org.apache.kafka.common.PartitionInfo;
  
  // 1. 创建你的ProducerRecord
  ProducerRecord<String, String> record = new ProducerRecord<>("my_topic", "my_key", "my_value");
  
  // 2. 获取目标主题的分区集群信息
  List<PartitionInfo> partitionInfos = producer.partitionsFor(record.topic());
  Cluster cluster = new Cluster(record.topic(), partitionInfos);
  
  // 3. 实例化默认分区器并计算分区
  DefaultPartitioner partitioner = new DefaultPartitioner();
  int targetPartition = partitioner.partition(
          record.topic(),
          record.key(),
          record.key() != null ? record.key().getBytes() : null,
          record.value(),
          record.value() != null ? record.value().getBytes() : null,
          cluster
  );
  

  注意：如果key为null，默认分区器会依赖内部的计数器轮询分区，这时候如果是单独调用分区器，可能和实际发送时的轮询位置有偏差（因为producer内部的计数器是累积的），这种情况最好结合producer的上下文来确认，或者确保计算时的状态和发送时一致。

• 使用自定义分区器的情况
  如果你实现了自己的Partitioner类，那逻辑和上面类似，直接调用你自定义分区器的partition方法即可，传入对应的参数就能得到提前计算的分区号。

另外要提醒一句：如果目标主题的分区数在你计算后发生了变化，那之前算出的分区号可能就不准确了，所以建议在计算前先确保获取的分区信息是最新的。

内容的提问来源于stack exchange，提问作者Harsha Chittepu