Apache Kafka MirrorMaker 2多集群同主题数据合并的实现与最佳实践

1. 是否可通过MirrorMaker 2实现多源主题合并至单个目标主题？ #

完全可以。Apache Kafka MirrorMaker 2（MM2）支持同时连接多个源Kafka集群，通过配置多个MirrorSourceConnector实例，能将不同源集群中同名的serviceA-topic数据同步并合并到目标集群的同一个serviceA-topic中。

2. 该合并方案是否为最佳实践？对比自定义消费者如何选择？ #

• MirrorMaker 2方案（纯数据合并场景下为最佳实践）：
  • 基于Kafka原生组件，无需自行开发维护消费者代码，降低开发与运维成本
  • 内置高可用、故障转移机制，同步过程稳定可靠
  • 自带offset跟踪、checkpoint管理，配置得当可保证Exactly-Once语义
• 自定义消费者方案（适用特定场景）：
  • 适合合并过程需要复杂业务逻辑处理的场景，比如数据去重、字段清洗、多源数据关联校验等
  • 需实时对合并后的数据做业务加工，而非单纯同步存储的场景

总结：仅需单纯多源数据同步合并时，MirrorMaker 2是更优选择；涉及复杂业务规则的合并处理，自定义消费者灵活性更强。

3. 如何配置MirrorMaker 2实现多源数据拉取与合并？ #

核心配置步骤： #

1. 编写MM2主配置文件（例如mm2.properties），定义所有集群连接与同步规则：

# 集群别名定义
clusters=source1,source2,source3,target

# 各集群连接地址
source1.bootstrap.servers=source-cluster1:9092
source2.bootstrap.servers=source-cluster2:9092
source3.bootstrap.servers=source-cluster3:9092
target.bootstrap.servers=target-cluster:9092

# 启用跨集群同步开关
source1->target.enabled=true
source2->target.enabled=true
source3->target.enabled=true

# 主题映射：将每个源的serviceA-topic映射到目标的同名主题
source1->target.topics=serviceA-topic
source2->target.topics=serviceA-topic
source3->target.topics=serviceA-topic

# 为每个源集群配置MirrorSourceConnector
source1->target.sourceConnector.class=org.apache.kafka.connect.mirror.MirrorSourceConnector
source2->target.sourceConnector.class=org.apache.kafka.connect.mirror.MirrorSourceConnector
source3->target.sourceConnector.class=org.apache.kafka.connect.mirror.MirrorSourceConnector

# 可选：配置checkpoint连接器，跟踪源集群offset（用于故障恢复）
target->source1.checkpointConnector.class=org.apache.kafka.connect.mirror.MirrorCheckpointConnector
target->source2.checkpointConnector.class=org.apache.kafka.connect.mirror.MirrorCheckpointConnector
target->source3.checkpointConnector.class=org.apache.kafka.connect.mirror.MirrorCheckpointConnector

2. 启动MirrorMaker 2：
   使用Kafka官方脚本启动，指定配置文件：

bin/kafka-mirror-maker.sh --config mm2.properties

3. 验证同步效果：

• 在目标集群消费serviceA-topic，检查是否能收到三个源集群的消息
• 通过Kafka Connect的REST接口查看连接器运行状态：

curl http://<connect-host>:8083/connectors

注意事项：确保各集群网络互通；MM2不会自动处理多源消息的重复，需根据业务需求额外处理；多源消息仅保留各源内部的顺序，跨源消息顺序无法保证。

内容的提问来源于stack exchange，提问作者SunSparc