MM2自定义消费者组配置及偏移量相关技术问题咨询

1. 正确配置MM2自定义消费者组并在源Broker中可见 #

你之前配置的<alias>.group.id是错误的配置项，MM2中指定源集群消费者组的正确配置是<source_alias>.consumer.group.id=temp_cons_group。

• 配置后重启MM2，需确保MM2已开始同步至少一个源集群的主题，消费者组才会在源Broker中被创建并可见
• 查看源Broker中的消费者组，执行命令：

  kafka-consumer-groups.sh --bootstrap-server <源Broker地址> --list
  

• 若仍未找到，检查MM2日志中是否有消费者组初始化的报错，确认配置项无拼写错误（比如源集群别名是否正确）

2. 验证<alias>.consumer.auto.offset.reset属性是否生效 #

auto.offset.reset仅在消费者组无任何偏移量记录，或偏移量失效（如对应分区已删除）时才会触发。你遇到的问题大概率是该消费者组已有历史偏移量，因此设置earliest未生效。

• 生效验证步骤：
  1. 停止MM2实例
  2. 执行命令删除源集群中的目标消费者组（或重置其偏移量）：

     # 删除消费者组
     kafka-consumer-groups.sh --bootstrap-server <源Broker地址> --group <你的消费者组名> --delete
     # 或重置偏移量到最早位置
     kafka-consumer-groups.sh --bootstrap-server <源Broker地址> --group <你的消费者组名> --topic <需要同步的主题> --reset-offsets --to-earliest --execute
     

  3. 重启MM2，查看日志中是否有Resetting offset for partition <主题名>-<分区号> to offset 0这类记录
  4. 检查目标集群对应主题的消息是否从源主题的起始位置开始同步

3. 从源集群指定主题的指定偏移量开始消费 #

要实现从指定偏移量启动同步，需手动重置MM2消费者组的偏移量，步骤如下：

1. 停止MM2实例
2. 执行偏移量重置命令，指定目标主题、分区和偏移量：

   kafka-consumer-groups.sh --bootstrap-server <源Broker地址> \
   --group <MM2消费者组名> \
   --topic <源主题名>:<分区号> \
   --reset-offsets --to-offset <目标偏移量> --execute
   

   若需对该主题所有分区设置相同偏移量，去掉:<分区号>即可
3. 启动MM2实例，此时MM2会从指定偏移量开始拉取源主题消息并同步到目标集群

内容的提问来源于stack exchange，提问作者Tushar