Apache Kafka自定义连接器实现多SQL库CDC采集相关问题咨询

• 单连接器实例完全可以实现对接多个数据库。市面上现有商用连接器做单实例单库的限制是出于资源隔离、配置复杂度、故障影响面控制的产品设计考量，并非技术上无法实现。Kafka Connect的SourceConnector原生没有限制上游数据源的数量，你只需要在连接器的配置逻辑中支持传入多组数据库连接参数，在Task实现中为每个数据库单独维护CDC连接、采集进度（Offset）即可。落地时建议做好多库之间的资源隔离，避免单个数据库故障影响其他库的采集任务。
• 支持自定义不同数据的投递Topic，你生成SourceRecord对象时可以直接指定目标Topic参数，完全可以按照自定义规则（比如按库名+表名映射、按数据类型映射等）为不同来源的CDC数据分配对应的投递Topic，不需要依赖框架默认的路由规则。

• 官方的Kafka Connect运行时是JVM生态的组件，原生仅支持JVM系语言（Java、Scala等）开发的连接器插件，没有原生的.NET支持。如果硬要在官方Kafka Connect框架下用.NET开发，需要用JVM和.NET的桥接组件实现，性能损耗大、维护成本极高，不推荐采用这种方案。
• 如果要使用.NET实现同等能力的CDC采集组件，不需要硬套官方Kafka Connect框架，直接使用.NET的Kafka客户端（比如Confluent.Kafka）对接数据库的CDC接口，自主实现采集进度管理、数据序列化、生产投递的逻辑即可，最终效果和自定义Kafka连接器完全一致。
• 目前没有成熟的基于官方Kafka Connect框架的.NET CDC连接器示例，你可以直接参考对应SQL数据库的CDC接口文档，搭配Confluent.Kafka的使用示例实现核心逻辑。

内容的提问来源于stack exchange，提问作者Learn AspNet