冗余的Kafka消费者。

冗余的Kafka消费者指的是在同一个消费组内有多个消费者订阅同一个主题，而只有一个消费者实际上会消费到消息，其他消费者则处于空闲状态，形成资源的浪费。

解决这个问题的方法是利用Kafka的分区机制，将每个分区分配给不同的消费者来处理。这样即使在同一个消费组内有多个消费者订阅同一个主题，也不会出现冗余的情况。

示例代码：

// 创建Kafka消息消费者 KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

// 订阅主题 consumer.subscribe(Collections.singletonList(TOPIC));

// 处理每个分区的消息 while (true) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100)); for (TopicPartition partition : records.partitions()) { List<ConsumerRecord<String, String>> partitionRecords = records.records(partition); for (ConsumerRecord<String, String> record : partitionRecords) { // 处理消息 System.out.printf("消费者：%s，分区：%d，偏移量：%d，消息：%s%n", Thread.currentThread().getName(), partition.partition(), record.offset(), record.value()); } long lastOffset = partitionRecords.get(partitionRecords.size() - 1).offset(); consumer.commitSync(Collections.singletonMap(partition, new OffsetAndMetadata(lastOffset + 1))); } }

在上面的示例代码中，我们通过订阅主题并调用poll方法来获取消息，然后根据每个分区进行处理，并在处理完成后提交偏移量，这样就能保证每个分区只会被一个消费者处理，从而避免冗余的情况。