如何让MirrorMaker2切换目标集群后从下一条消息开始镜像？

核心目标 #

从ClusterA到ClusterB的最后同步位点开始，无缝切换至向ClusterC同步消息。

步骤1：获取ClusterB的最后同步偏移量 #

先确认已成功同步到ClusterB的每条主题的最后位置，这是切换的起点：

1. 找到原MM2任务对应的消费者组名称（通常在MM2配置的group.id中，比如mm2-clusterA-to-clusterB）
2. 执行命令查看该消费者组的偏移量：

kafka-consumer-groups.sh --bootstrap-server ClusterA:9092 --describe --group <原MM2消费者组名>

3. 记录每个需要同步的主题的CURRENT-OFFSET值，这就是已同步到ClusterB的最后消息位置。

步骤2：停止原MM2复制进程 #

终止ClusterA→ClusterB的MM2任务，避免继续向已宕机的ClusterB发送数据，确保偏移量不再变化。

步骤3：配置并初始化新的MM2任务（ClusterA→ClusterC） #

1. 修改MM2配置文件：

   • 更新clusters段，添加ClusterC的Bootstrap Server地址：

     clusters=ClusterA,ClusterC
     ClusterA.bootstrap.servers=ClusterA:9092
     ClusterC.bootstrap.servers=ClusterC:9092
     

   • 更新mirrors段，指定源集群为ClusterA，目标为ClusterC：

     mirrors=ClusterA
     ClusterA.source.cluster=ClusterA
     ClusterA.target.cluster=ClusterC
     ClusterA.topics=.* # 或指定需要同步的主题列表
     

   • 设置新的消费者组名称，避免和原任务冲突：

     ClusterA.group.id=mm2-clusterA-to-clusterC
     

2. 重置新MM2消费者组的起始偏移量：
   针对每个需要同步的主题，将新消费者组的偏移量设置为步骤1中记录的CURRENT-OFFSET：

   kafka-consumer-groups.sh --bootstrap-server ClusterA:9092 --group <新MM2消费者组名> --reset-offsets --to-offset <记录的偏移量> --topic <主题名> --execute
   

   重复此命令完成所有目标主题的偏移量设置。

步骤4：启动新的MM2复制进程 #

使用修改后的配置文件启动MM2：

kafka-mirror-maker.sh --config <新MM2配置文件路径>

步骤5：验证同步状态 #

1. 在ClusterC上查看主题的偏移量，确认是否从记录的位置开始增长：

   kafka-run-class.sh kafka.tools.GetOffsetShell --bootstrap-server ClusterC:9092 --topic <主题名> --time -1
   

2. 在ClusterA生产新消息，检查ClusterC是否能正常接收，确保后续消息同步正常。

注意事项 #

• 确保ClusterC已提前创建目标主题（或在MM2配置中开启auto.create.topics.enable=true）
• 验证MM2进程拥有ClusterA的读权限和ClusterC的写权限
• 记录偏移量前必须停止原MM2任务，防止偏移量在记录过程中更新

内容的提问来源于stack exchange，提问作者Yoel Barsheshet