未指定分区发送Kafka消息后，消费者能否无需指定分区执行seekToBeginning？

问题背景 #

我在向Kafka Topic发送消息时未指定分区，使用的是ProducerRecord(String topic, K key, V value)构造方法。在Consumer端，我希望将消费偏移量定位到主题的起始位置，但seekToBeginning(Collection partitions)方法需要传入分区集合。请问是否可以不指定分区就执行定位到起始位置的操作？Kafka是否会为未指定分区的消息分配默认分区？

核心问题解答 #

1. 无需手动指定分区，就能将偏移量定位到起始位置

完全可以！你不需要提前知晓具体分区，只需要借助消费者的API获取当前分配的分区集合，再传入seekToBeginning即可。具体操作步骤如下：

• 先用subscribe()方法订阅目标主题
• 执行一次短时间的poll()调用（因为订阅是异步操作，需要触发分区分配流程）
• 通过assignment()获取当前消费者分配到的所有分区
• 将这个分区集合传给seekToBeginning，就能把所有分配给自己的分区偏移量都定位到起始位置

适配0.10.2版本的代码示例：

// 订阅目标主题
consumer.subscribe(Collections.singletonList("your_topic_name"));
// 触发分区分配，等待100毫秒超时
consumer.poll(100);
// 获取当前消费者已分配的分区集合
Set<TopicPartition> assignedPartitions = consumer.assignment();
// 将所有分配的分区偏移量定位到起始位置
consumer.seekToBeginning(assignedPartitions);

2. Kafka一定会为未指定分区的消息分配默认分区

当你使用带key但不指定分区的ProducerRecord构造方法时，Kafka会自动帮你分配分区：

• 默认使用DefaultPartitioner分区器，通过对key的哈希值（使用Murmur2哈希算法）取模主题分区数，得到对应的分区编号
• 如果消息的key为null，Kafka会采用轮询（0.10.x版本）的方式随机选择一个分区发送消息

简单来说，不存在没有分区的消息，哪怕你不手动指定，每条消息都会被分配到一个具体的分区中。

内容的提问来源于stack exchange，提问作者Vortex