从Kafka2.3迁移至Confluent7.4社区版，MM2偏移量转换失效求助

首先明确：不需要使用Confluent Replicator，MirrorMaker 2.0（MM2）社区版完全支持消费者偏移量同步与转换，你的问题大概率出在版本兼容性、配置细节或运行状态上，以下是具体排查方向：

1. 版本兼容性隐患 #

你的源集群是Apache Kafka 2.3，而MM2的自动偏移量同步功能（对应KIP-545）是在Kafka 2.4版本正式引入的。Kafka 2.3的消费者组元数据结构与后续版本存在差异，MM2 7.4（对应Kafka 3.4版本）可能无法正确解析旧集群的消费者偏移量信息，导致同步失败。这是最可能的核心原因，建议优先验证。

2. 偏移量映射记录生成检查 #

MM2的偏移量转换依赖offset-syncs主题存储源集群与目标集群的偏移量映射关系，由MirrorSourceConnector在同步消息时自动写入。如果这个主题没有数据，MirrorCheckpointConnector就无法完成偏移量转换：

• 在目标集群执行以下命令，检查默认主题mm2-offset-syncs.my-target.internal的内容：

  kafka-console-consumer.sh --bootstrap-server <目标集群地址> --topic mm2-offset-syncs.my-target.internal --from-beginning --property print.key=true
  

  正常情况下，会看到类似格式的记录：

  {"topic":"demo-topic","partition":0}	{"sourceOffset":123,"targetOffset":123}
  

  如果没有输出，说明MirrorSourceConnector未生成偏移量映射记录，需检查源连接器的运行日志排查同步异常。

3. Checkpoint Connector配置与权限验证 #

配置细节 #

• 确认groups: ".*"匹配的消费者组确实在源集群存在，且有已提交的偏移量（可通过kafka-consumer-groups.sh --bootstrap-server <源集群地址> --list和--describe命令验证）。
• 若MirrorSourceConnector自定义了offset-syncs.topic.name参数，MirrorCheckpointConnector必须使用完全相同的名称，否则无法读取偏移量映射。

权限验证 #

即使使用PLAINTEXT协议，仍需确保Kafka Connect进程拥有以下权限：

• 源集群：DescribeGroups、ReadGroupOffsets（读取消费者组偏移量）
• 目标集群：AlterGroupOffsets（写入转换后的偏移量）
  可通过查看Connect worker日志，搜索AuthorizationException确认是否存在权限问题。

4. 运行状态日志排查 #

• 查看MirrorSourceConnector的任务日志，搜索OffsetSync关键词，确认是否有生成偏移量映射的记录。
• 查看MirrorCheckpointConnector的任务日志，搜索Syncing offsets for group关键词，确认是否有尝试同步消费者组偏移量的操作。如果没有相关日志，说明连接器未识别到需要同步的组，或groups参数匹配规则有误。

临时替代方案（针对Kafka 2.3源集群） #

如果无法升级源集群，可尝试手动同步偏移量：

1. 导出源集群的消费者偏移量：

   kafka-consumer-groups.sh --bootstrap-server <源集群地址> --describe --group <目标组名> --state > offsets.json
   

2. 由于使用IdentityReplicationPolicy，topic名称一致，偏移量数值通常可直接复用。
3. 在目标集群导入偏移量：

   kafka-consumer-groups.sh --bootstrap-server <目标集群地址> --reset-offsets --to-offset <目标偏移量> --topic <topic名> --group <目标组名> --execute
   

内容的提问来源于stack exchange，提问作者JBravo