使用MirrorMaker迁移Kafka集群时如何保留偏移量？

为啥偏移量保不住？ #

MirrorMaker本质是跨集群的消息复制工具，只能同步主题的消息内容，没法直接克隆源集群的消费者组偏移量——偏移量和集群元数据（比如主题分区ID、集群ID）绑定死了，目标集群的这些元数据和源集群完全不同，硬同步过去的偏移量根本无效。

有状态服务（Kafka Streams/Flink）的处理方案 #

针对Kafka Streams应用 #

别直接删状态里的偏移量，反而可以借助MirrorMaker的偏移量同步能力：

• 启动MirrorMaker时，加上--offset-syncs-to-target参数，再通过--consumer.config指定需要同步的消费者组，它会自动把源集群的偏移量转换成目标集群镜像主题对应的偏移量，同步到目标集群的__consumer_offsets中。
• 修改Streams应用的bootstrap.servers指向目标集群，启动时不要手动重置偏移量，它会自动读取目标集群的消费者组偏移量，结合本地状态恢复处理。
• 如果状态存在分布式存储（比如S3），直接修改配置指向目标集群的存储地址即可，无需改动状态文件。

针对Flink作业 #

Flink状态中存储的是源集群的Kafka偏移量，直接迁移到目标集群会失效，推荐两种方案：

1. 基于保存点迁移：先停止作业并触发保存点，然后将作业的Kafka源配置改为目标集群的镜像主题，启动保存点时，要么手动指定对应目标集群的偏移量（参考MirrorMaker同步的结果），若允许从头处理则设为earliest。
2. 同步偏移量后恢复：先用kafka-consumer-groups.sh导出源集群的消费者组偏移量，转换为目标集群的对应偏移量后导入，再配置Flink作业启动时使用setStartFromGroupOffsets()，读取目标集群的偏移量恢复。

关于MirrorMaker完美克隆的局限性 #

MirrorMaker的定位就是消息复制工具，不是集群克隆工具，没法同步消费者组偏移量、ACL这类元数据——不同集群的ID、分区UUID都是唯一的，强行同步会引发元数据冲突。如果需要更完整的集群迁移：

• 同版本集群可以用kafka-reassign-partitions.sh工具；
• 跨版本或跨云迁移，就用MirrorMaker同步消息，再单独处理偏移量和元数据。

内容的提问来源于stack exchange，提问作者salvalcantara