使用Kafka Connector的topics.regex配置时如何自动发现新增主题？

是否支持自动发现新增的匹配主题？ #

默认情况下不行。Confluent S3 Sink（以及绝大多数Kafka Connect连接器）在使用topics.regex配置时，只会在首次启动或配置更新时一次性扫描并匹配当时集群中存在的符合规则的主题，之后不会主动监听集群的主题创建事件，也不会自动将新增的匹配主题加入消费列表。

最佳自动化实现方案 #

1. 基于Kafka Connect REST API的动态配置更新 #

这是社区环境下最通用的方案，步骤如下：

• 监控主题创建事件：用Kafka AdminClient编写轻量监控工具，定期轮询集群中的主题列表，或者监听Kafka的主题变更事件，识别出符合topics.regex规则的新主题。
• 触发连接器配置更新：当检测到新匹配主题时，调用Kafka Connect的REST API，向PUT /connectors/{你的连接器名称}/config接口提交原有配置（无需修改topics.regex，只需重新提交）。连接器会重新解析正则表达式，自动将新主题纳入消费任务，且会以滚动方式重启任务，不会完全中断现有消费。

2. Confluent Platform商用版自动主题发现 #

如果你使用Confluent商用平台，Control Center提供了连接器的自动主题发现功能。只需在连接器配置中开启相关选项，连接器会定期重新评估topics.regex，自动添加新增的匹配主题，无需额外开发。

3. 自定义扩展连接器（适合有开发能力的场景） #

基于Confluent S3 Sink的源码进行扩展，添加定时任务（比如每隔1小时）重新执行主题匹配逻辑，更新连接器的消费主题列表。这种方案灵活性最高，但需要具备Kafka Connect连接器的开发能力。

4. 定时重启连接器（不推荐） #

用cron或定时任务工具定期重启连接器，重启时会重新扫描匹配topics.regex的主题。但这种方案会导致消费中断，且重启有资源开销，仅适合非核心业务场景。

内容的提问来源于stack exchange，提问作者partlov