Kafka的regex-topics / 监听多个主题的实际限制是什么？

在Kafka中，可以使用regex-topics配置属性来监听多个主题。然而，使用正则表达式监听多个主题时，存在一些实际限制。

1. 正则表达式的匹配性能：当主题数量较大时，使用复杂的正则表达式可能会导致性能问题。因为Kafka需要在订阅时对所有主题进行正则匹配，这可能会导致较高的CPU占用和延迟。

2. 主题命名规范：需要注意主题的命名规范，以确保正则表达式可以正确匹配到需要监听的主题。如果主题的命名不符合正则表达式的规则，将无法正确匹配到主题。

下面是一个使用正则表达式监听多个主题的示例代码：

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.util.Arrays;
import java.util.Properties;

public class KafkaRegexConsumerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "test-group");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
        props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
        props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, "10");
        props.put(ConsumerConfig.TOPIC_REGEX_PATTERN_CONFIG, "topic-.*"); // 使用正则表达式匹配多个主题

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Arrays.asList("topic-1", "topic-2", "topic-3")); // 这里只是示例，实际上不需要手动订阅主题

        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("topic = %s, partition = %s, offset = %d, key = %s, value = %s%n",
                        record.topic(), record.partition(), record.offset(), record.key(), record.value());
            }
        }
    }
}

在上面的示例代码中，我们使用ConsumerConfig.TOPIC_REGEX_PATTERN_CONFIG配置属性来指定了一个正则表达式"topic-.*"，用于匹配多个主题以"topic-"开头的主题。然后使用consumer.subscribe()方法订阅了主题，这里只是为了演示，实际上不需要手动订阅主题，因为使用正则表达式监听多个主题时，Kafka会自动根据正则表达式匹配到的主题进行订阅。最后，在消费者的循环中处理接收到的消息。

需要注意的是，当正则表达式匹配到新的主题时，消费者也会自动加入新的订阅。