Kafka轮询和重新平衡问题

当消费者组内的消费者数量发生变化时，Kafka 会进行重新平衡，导致消费者的轮询出现问题。为了解决这个问题，我们可以在消费者代码中加入一个 RebalanceListener，该监听器会在重新平衡发生时得到通知，从而实现对消费者对象的重新分配和释放。

示例代码：

public class KafkaConsumerExample {
    private static KafkaConsumer<String, String> consumer;
    private static List<String> topics = Arrays.asList("test_topic");

    public static void main(String[] args) throws InterruptedException {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("group.id", "test_group");
        props.put("enable.auto.commit", "true");
        props.put("auto.commit.interval.ms", "1000");
        props.put("session.timeout.ms", "30000");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        consumer = new KafkaConsumer<>(props);

        consumer.subscribe(topics, new RebalanceListener() {
            @Override
            public void onPartitionsRevoked(Collection<TopicPartition> partitions) {
                // do something when partitions are revoked
            }

            @Override
            public void onPartitionsAssigned(Collection<TopicPartition> partitions) {
                // do something when partitions are assigned
            }
        });

        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
            }
        }
    }
}

在代码中，我们首先创建了一个 KafkaConsumer 对象，然后使用 subscribe 方法订阅了指定的主题列表，并在参数中传递了一个 RebalanceListener 对象。该监听器实现了 onPartitionsRevoked 和 onPartitionsAssigned 方法，用于处理重新平衡时的分区回收和分配操作。最后，在一个无限循环中轮询消费消息，并打印出消息的偏移量、键和值。