如何同步MirrorMaker2自身的消费者偏移量？

核心背景 #

MM2依赖Kafka Connect的内部偏移主题（如mm2-offsets.src.internal）管理自身消费者偏移量，而非Kafka标准的__consumer_offsets主题，默认配置下MM2不会同步这类内部主题，导致跨集群迁移后偏移量丢失、主题重置。

可行解决方案 #

1. 手动导出/导入偏移量（快速临时方案） #

适用于一次性迁移场景：

• 导出偏移量：在源集群（Kafka 1）上，消费mm2-offsets.src.internal主题的所有消息并保存：

  kafka-console-consumer.sh --bootstrap-server kafka1:9092 --topic mm2-offsets.src.internal --from-beginning --property print.key=true --property key.separator=":" > mm2_offsets_backup.txt
  

• 准备目标集群偏移主题：在目标集群（Kafka 2）上启动橙色MM2一次，让其自动创建对应的偏移主题（如mm2-offsets.dst.internal），然后停止MM2。
• 导入偏移量：调整导出数据中key的集群标识（若有），再将数据生产到目标集群的偏移主题：

  kafka-console-producer.sh --bootstrap-server kafka2:9092 --topic mm2-offsets.dst.internal --property parse.key=true --property key.separator=":" < mm2_offsets_backup.txt
  

• 注意：导入前必须停止目标集群的MM2，避免偏移冲突；导入完成后重启MM2即可读取原有偏移量。

2. 配置外部偏移存储（长期运维方案） #

将MM2偏移量存储到外部数据库，摆脱对Kafka内部主题的依赖：

• 修改MM2连接器配置，添加以下参数：

  offset.storage=org.apache.kafka.connect.storage.JdbcOffsetBackingStore
  offset.storage.jdbc.url=jdbc:mysql://db-host:3306/kafka_connect_offsets
  offset.storage.jdbc.user=db_user
  offset.storage.jdbc.password=db_pass
  offset.storage.table.name=connect_offsets
  

• 迁移时只需同步数据库中connect_offsets表的数据到目标集群的数据库，新启动的MM2即可直接读取原有偏移量。
• 优势：偏移量集中管理，无需处理Kafka内部主题的同步逻辑，适合长期多集群MM2部署。

3. 自定义MM2内部主题同步（定制开发方案） #

若需要自动同步MM2偏移主题，可修改MM2配置：

• 在橙色MM2的配置中，将源集群的mm2-offsets.src.internal添加到同步主题列表：

  topics=.*,mm2-offsets.src.internal
  topic.rename.format=mm2-offsets.dst.internal
  

• 确保目标集群偏移主题的分区数、副本数与源集群一致，避免同步后偏移量读取异常。
• 注意：此方法需验证内部主题同步是否会干扰MM2正常运行，因为内部主题消息格式为Kafka Connect私有结构，可能存在兼容性问题。

针对你的场景建议 #

如果是一次性从Kafka 1迁移MM2到Kafka 2，优先选择手动导出/导入偏移量的方案快速解决问题；如果是长期多集群MM2运维，建议切换到外部数据库存储偏移量，降低后续迁移复杂度。

内容的提问来源于stack exchange，提问作者Cai Elvis