Kafka Mirror Maker 2消费者组无法复制问题咨询

看起来你遇到的是MirrorMaker 2（MM2）成功复制了Topic，但没能同步Consumer Group偏移量的问题，我来帮你一步步排查和解决：

先梳理你的现状 #

• 源集群（A）的quickstartGroup有两个分区的偏移量记录（无活跃成员）
• 目标集群（B）已成功复制quickstart-events Topic，但查询quickstartGroup提示不存在
• MM2配置中已指定A->B.groups = quickstartGroup.*，并使用了PrefixlessReplicationPolicy

可能的原因及排查步骤 #

1. 确认MM2进程状态与日志 #

首先检查MM2的运行日志，看看有没有关于Consumer Group同步的报错信息：

• 有没有权限问题？比如MM2使用的账号在源集群无法读取Group偏移量，或者在目标集群无法创建Group/写入偏移量
• 有没有找不到源Group的提示？虽然你已经确认源Group存在，但MM2可能在启动时还没检测到，或者正则匹配有问题（你的quickstartGroup.*是匹配以quickstartGroup开头的Group，是正确的）

2. 验证MM2内部同步Topic #

MM2依赖内部Topic来同步偏移量，你可以在目标集群查看mm2-offset-syncs.B.internal这个Topic的内容，看看有没有quickstartGroup的偏移量记录：

# 在目标集群执行
~/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9093 --topic mm2-offset-syncs.B.internal --from-beginning

如果能看到包含quickstartGroup和对应分区偏移量的消息，说明MM2已经同步了偏移量，但目标集群的Group元数据还没生成；如果看不到，说明MM2还没完成同步，需要等待或者检查配置。

3. 检查自定义ReplicationPolicy的正确性 #

你使用了ch.mawileo.kafka.mm2.PrefixlessReplicationPolicy，这个自定义策略的作用是避免给复制的Group/Topic加上源集群前缀（比如默认会变成A.quickstartGroup）。需要确认：

• 这个策略的jar包已经放在Kafka的libs目录或者MM2的插件目录中，确保MM2能加载到这个类
• 该策略正确实现了groupSourceTopic和targetGroup方法，确保源Group的偏移量能映射到目标集群的同名Group

4. 手动同步Consumer Group偏移量（如果自动同步失败） #

如果以上步骤都没问题，但Group还是没出现在目标集群，可以手动导出源集群的偏移量并导入到目标集群：

步骤1：从源集群导出Group偏移量

# 在源集群执行
~/kafka/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group quickstartGroup --export > group_offsets.csv

导出的CSV内容格式大致如下：

GROUP,TOPIC,PARTITION,OFFSET,METADATA
quickstartGroup,quickstart-events,1,9,
quickstartGroup,quickstart-events,0,9,

步骤2：在目标集群导入偏移量

# 在目标集群执行
~/kafka/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9093 --reset-offsets --group quickstartGroup --topic quickstart-events --from-file group_offsets.csv --execute

执行完成后，再查询目标集群的Group：

~/kafka/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9093 --describe --group quickstartGroup

此时应该能看到对应的偏移量记录了。

额外注意事项（针对Kafka 2.8版本） #

• Kafka 2.8的MM2对inactive Consumer Group的同步默认是开启的，但如果你的Group长时间没有活跃成员，可能需要等待MM2的偏移量同步周期（默认是1分钟左右）
• 确保groups.exclude配置为空（你已经设置为''），避免被排除同步

内容的提问来源于stack exchange，提问作者FadingOffset