Kafkaoffset-外部存储VS消费者已提交（分区）

Kafka中的offset用于记录消费者在消费每个分区时读取到的最后一条消息的位置。在处理分区和故障转移等情况时，维护offset非常重要。有两种方法可以处理offset：使用外部存储或使用消费者中记录的偏移量。

使用外部存储来维护offset非常安全可靠，因为它可以确保即使消费者死机或重新启动，offset也不会丢失。下面是使用Kafka外部存储来处理offset的示例代码：

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "test-group");
props.put("enable.auto.commit", "false"); // 关闭自动提交
props.put("auto.offset.reset", "earliest");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Collections.singletonList("test-topic"));
while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        // 处理消息
    }
    consumer.commitSync(); // 手动提交offset
}

使用消费者中记录的偏移量需要确保在消费者重新启动时偏移量不会丢失。下面是使用Kafka消费者中记录的偏移量来处理offset的示例代码：

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "test-group");
props.put("enable.auto.commit", "true"); // 开启自动提交
props.put("auto.offset.reset", "earliest");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common