Kafka消费者分配分区为空 无法获取Topic最新消息问题排查

出现空分区、拉不到最新消息的核心原因有三个：

• 你使用的subscribe()消费组订阅模式是为长驻运行的消费进程设计的，核心依赖消费组重平衡流程分配分区，而你的服务是每半小时触发一次的短生命周期任务，每次启动都要重新加入消费组、触发重平衡，随机出现分区分配异常的概率极高。
• 首次poll()仅设置了2秒超时，不足以支撑完消费组重平衡的全流程（发现协调者、加入组、同步组分配结果）。你在首次poll后立刻调用consumer.assignment()，此时重平衡还没完成分区分配，拿到的是空集合，后续endOffsets()传入空集合自然拿不到任何offset值，日志里的Setting newly assigned partitions []就是重平衡结束后没有分配到任何分区的直接表现。
• 代码逻辑存在缺陷：在遍历endOffsets结果时嵌套调用poll()，短任务场景下很容易因为消费组会话超时被协调者踢出，导致已分配的分区被收回，进一步加剧拉取失败的概率。

优先选择手动分区分配模式，完全绕开不稳定的消费组重平衡流程，这是短周期任务消费Kafka的通用最佳实践：

• 先查询指定Topic的所有分区，手动给消费者分配分区，不需要加入任何消费组，从根源上避免重平衡导致的空分区问题
• 拉取所有分区的最新offset，统一执行seek操作后单次poll拉取数据，不要嵌套调用poll
• 任务执行完成后主动关闭消费者，释放连接资源

核心修正代码如下：

// 手动查询Topic所有分区，绕开消费组重平衡
List<PartitionInfo> partitionInfos = consumer.partitionsFor(topic);
List<TopicPartition> topicPartitions = partitionInfos.stream()
        .map(info -> new TopicPartition(topic, info.partition()))
        .collect(Collectors.toList());
consumer.assign(topicPartitions);

// 获取所有分区末尾offset，seek到最新消息位置
Map<TopicPartition, Long> endOffsetMap = consumer.endOffsets(topicPartitions);
endOffsetMap.forEach((tp, offset) -> consumer.seek(tp, offset == 0 ? 0 : offset - 1));

// 单次poll拉取所有分区的最新记录
AtomicLong maxTimestamp = new AtomicLong(-1);
AtomicReference<ConsumerRecord<String, String>> latestRecord = new AtomicReference<>();
ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(10));
for (ConsumerRecord<String, String> record : records) {
    if (record.timestamp() > maxTimestamp.get()) {
        maxTimestamp.set(record.timestamp());
        latestRecord.set(record);
    }
}

// 用完主动关闭消费者
consumer.close();

如果因为业务限制必须使用消费组订阅模式，需要做两个调整：

• 把首次poll的超时时间调整到30秒以上，循环判断consumer.assignment()不为空之后再执行后续拉取逻辑，不能单次短超时poll就直接往下走
• 同组不要部署其他长驻消费者，避免短任务启动时所有分区已经被其他消费者占用，导致分配到空分区

内容的提问来源于stack exchange，提问作者Shala