单个Kafka sink connector能否同时消费多个独立非集群Kafka broker数据

核心结论 #

单个Kafka Sink Connector实例不支持同时消费多个互相独立、不属于同一集群的Kafka broker数据。

原因说明 #

Kafka Connect的运行逻辑是，单个Connector实例的bootstrap.servers配置全局唯一，整个进程只能和一组指定的Kafka broker（也就是同一个集群）交互，无法同时连接多个独立集群。

适配你现有场景的可选方案 #

• 方案1：为每个源端独立Kafka集群分别部署对应的Sink Connector实例，每个实例仅消费对应源集群的CDC数据，所有Sink Connector统一写入同一个目标库。这个方案配置成本最低，和你当前的架构适配度最高，且不同源端集群的故障不会互相传导。
• 方案2：先通过MirrorMaker2跨集群同步工具，把所有源端Kafka集群的CDC主题统一同步到一个独立的聚合Kafka集群，再部署单个Sink Connector从这个聚合集群消费全量CDC数据写入目标库。如果后续还有其他多源CDC数据的消费需求，这个方案更便于统一管控数据链路。

注意事项 #

如果选择多Sink Connector写入同一目标库的方案，建议提前在每条CDC数据中增加源库唯一标识字段，同时做好写入的主键规则设计，避免不同源库的数据出现主键冲突、意外覆盖的问题。

内容的提问来源于stack exchange，提问作者eagr