如何使用MM2无停机迁移Kafka生产集群？

为什么MM2可以做到近乎无停机迁移 #

你提到的MM2导致停机的问题，本质是切换阶段操作不当所致。通过分阶段的双写双读配合MM2同步，完全可以实现近乎无停机的迁移，无需搭建资源消耗极高的并行应用集群。

具体实施步骤 #

1. 预准备与初始同步 #

• 确保新集群（Cluster B）的所有主题配置与原集群（Cluster A）完全一致：包括分区数、副本数、消息保留策略、压缩格式等，避免因配置不一致导致复制失败或数据丢失。
• 配置并启动MM2，开启A->B的全量+增量数据同步，同时启用消费者偏移量同步：在MM2配置中设置sync.group.offsets.enabled=true，确保Cluster B的消费者组偏移量与Cluster A实时对齐。
• 监控MM2的复制延迟（可通过Kafka监控指标mirror-maker-2:topic:mirrored-latency查看），待全量数据同步完成且增量复制延迟稳定在极低水平（如毫秒级）后，进入下一阶段。

2. 双写双读过渡阶段 #

• 生产者双写：修改生产者配置，使其同时向Cluster A和Cluster B发送消息。可通过代码逻辑改造（如发送两次请求）、Kafka生产者拦截器，或平台化消息组件的双集群配置实现。
• 消费者双跑：部署新的消费者实例指向Cluster B消费，同时保留原Cluster A的消费者实例继续运行。需验证Cluster B的消费逻辑、消息完整性与处理性能均正常，持续运行1-2个完整业务周期以覆盖各类场景。

3. 平滑切换阶段 #

• 切换消费者：逐步停止Cluster A的消费者实例，同时扩容Cluster B的消费者实例接管全部消费任务。由于前期已完成偏移量同步与双跑验证，该过程可做到业务无感知切换。
• 切换生产者：待消费者完全切换到Cluster B后，修改生产者配置，仅向Cluster B发送消息。此时MM2仍保持运行，同步Cluster A中剩余的存量消息，直到Cluster A无新消息流入且MM2显示所有消息同步完成后，再停止MM2服务。

与并行应用集群方案的对比 #

搭建并行应用集群需要投入双倍的服务器、存储与运维成本，资源消耗极大。而MM2配合双写双读的方案，仅需在过渡阶段临时增加少量消费者实例，资源消耗远低于前者，且操作可控性更强。

关键注意事项 #

• 若使用事务型生产者，需确保MM2支持事务消息复制（Kafka 2.8+版本的MM2已支持），避免切换时出现事务不一致问题。
• 切换前必须在测试环境完整验证整个流程，包括MM2中断、消费者故障等异常场景的恢复能力。
• 同步期间需持续监控两个集群的消息堆积、消费延迟等指标，确保业务不受影响。

内容的提问来源于stack exchange，提问作者Davidjmartin423