无法从Kafka获取记录：指定主题及分区拉取无数据咨询

• 拉取超时时间过短：你设置的poll(Duration.ofMillis(100))超时仅100毫秒，消费者与Broker建立连接、同步元数据的耗时可能超过这个值，导致还未获取到数据就返回空结果。建议延长超时时间，比如调整为3秒：

  ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(3));
  

• 目标主题分区无可用记录：先确认主题对应分区确实存在未消费数据，可通过Kafka命令行工具查看消费者组的偏移量状态：

  kafka-consumer-groups.sh --bootstrap-server <你的Broker地址> --describe --group <消费者组ID>
  

  对比CURRENT-OFFSET和LOG-END-OFFSET，若两者相等，说明分区已无未消费记录。

• 消费者配置异常：

  • 检查auto.offset.reset配置：若设为latest，首次消费或偏移量已超出日志末尾时，消费者会从最新位置开始消费，无新消息写入则返回空。可临时改为earliest测试。
  • 确认bootstrap.servers配置正确，能正常连通Kafka集群。
  • 核对消费者组ID是否正确，不同组的偏移量是独立存储的。

• 权限不足：确保消费者账号拥有目标主题分区的read权限，无权限会导致无法拉取记录。

• 偏移量异常：若之前消费过但偏移量提交异常，消费者可能认为已消费完所有数据。可尝试重置消费者组偏移量：

  kafka-consumer-groups.sh --bootstrap-server <你的Broker地址> --reset-offsets --to-earliest --group <消费者组ID> --topic <目标主题> --execute
  

内容的提问来源于stack exchange，提问作者Shivendra Prakash Shukla