如何通过Kafka Connect实现源Kafka集群到目标Kafka集群的数据迁移?
需求背景:需基于Kafka Connect框架,将Cloudera Kafka集群的源主题数据复制到AWS MSK Kafka集群,已了解kafkacat、MirrorMaker 2方案,寻求同类开源连接器选项。
以下是可用的开源Kafka Connect连接器:
Apache Kafka官方Mirror连接器(MirrorSource/MirrorSink)
这是MirrorMaker 2.0的核心组件,完全基于Kafka Connect构建,属于Apache Kafka官方开源工具。专门针对跨Kafka集群的主题镜像场景设计,支持全量+增量数据同步、偏移量跟踪、集群配置同步,能无缝适配Cloudera Kafka和AWS MSK这类标准Kafka集群,配置灵活且具备生产级的容错能力。Confluent Replicator(开源版)
Confluent推出的开源连接器,基于Kafka Connect生态开发,支持跨集群的主题数据、分区、偏移量全量同步,若集群使用了Schema Registry,还能同步Schema元数据。适配各类厂商的Kafka集群部署,包括Cloudera和AWS MSK,具备成熟的生产实践案例。Debezium结合Kafka Connect的跨集群同步方案
虽然Debezium主打CDC(变更数据捕获)场景,但也可通过其Source/Sink连接器结合Kafka Connect实现跨集群数据复制,适合需要将CDC数据流直接同步到目标集群的场景,属于开源生态下的可选方案。
这些连接器均基于Kafka Connect框架,支持分布式部署,与现有Connect集群生态兼容,适合生产环境的跨集群数据复制需求。
内容的提问来源于stack exchange,提问作者Manpreet Singh

