MM2同步时__consumer_offset无法同步，同消费组切sink集群从头消费

你遇到的现象是因为MM2默认未开启消费组偏移同步能力，且默认会对同步的消费组添加源集群别名前缀，导致你用原组ID在目标集群查询不到历史偏移，触发从头消费逻辑。

步骤1：补充消费组偏移同步配置 #

在你现有的MM2配置中添加以下参数：

# 指定需要同步的源集群A的消费组，.*代表同步所有消费组，也可以指定特定组名，多个用逗号分隔
A->B.groups = .*
# 开启消费组偏移同步开关
A->B.sync.group.offsets.enabled = true
# 偏移同步间隔，单位秒，默认60秒，可根据需求调整
A->B.sync.group.offsets.interval.seconds = 30

步骤2：调整消费组命名规则（二选一即可） #

• 方案A：使用带前缀的消费组ID
  MM2默认会给同步过来的消费组添加源集群别名前缀，比如你源集群的消费组ID是test-group，同步到目标集群B之后的组ID为A.test-group，直接使用该带前缀的组ID消费即可继承原有偏移。
• 方案B：关闭消费组前缀拼接
  如果你希望直接使用原消费组ID在目标集群消费，可以添加以下配置关闭前缀拼接规则：

  # 关闭主题名前缀拼接（可选，默认同步过来的主题也会加A.前缀，不需要的话可以加这个配置）
  A->B.renamed.topics.format = ${topic}
  # 关闭消费组ID前缀拼接
  A->B.consumer.group.id.format = ${group}
  

步骤3：验证偏移同步结果 #

配置修改完成后重启MM2任务，等待一个同步间隔后，用目标集群的消费组管理命令验证偏移是否同步成功：

# 查看目标集群所有消费组，确认你需要的消费组存在
kafka-consumer-groups.sh --bootstrap-server localhost:9093 --list
# 查看对应消费组的偏移信息，确认和源集群停止消费时的偏移一致
kafka-consumer-groups.sh --bootstrap-server localhost:9093 --describe --group 你的消费组ID

• 如果你是在已经启动MM2任务之后才开启偏移同步，任务启动前源集群产生的消费组偏移不会自动同步，需要你手动查询源集群对应消费组的偏移，再通过kafka-consumer-groups.sh的--reset-offsets参数手动设置到目标集群的消费组上。
• 你当前配置中所有内部主题的副本系数都设为1，仅适合测试环境使用，生产环境建议调整为2或3，避免单点故障导致数据丢失。

内容的提问来源于stack exchange，提问作者jeff