Kafka Mirror Maker 2.0迁移时消费组幂等性及无停机迁移方案咨询

关于消费组跨集群幂等性配置 #

Kafka消费组本身没有跨集群的幂等性配置。核心原因是：消费组的状态（含偏移量）是集群本地维护的，即便两个集群的消费组同名，它们也是完全独立的实体。MirrorMaker 2.0虽能同步源集群消费组的偏移量到目标集群，但这只是偏移量的复制，无法让两个集群的消费组感知彼此的消费状态——两边消费者依然会各自读取对应集群的消息，自然出现重复消费。

无停机迁移消费者的可行方案 #

1. 业务层实现幂等处理（最可靠的兜底方案） #

给每条消息生成全局唯一的业务标识（如message_id），消费者处理消息前，先查询本地存储（数据库/Redis）确认该标识是否已被处理：

• 若已处理，直接跳过该消息；
• 若未处理，执行业务逻辑后将标识存入存储。
  这个方案不依赖Kafka集群配置，无论迁移过程如何切换，都能从根源避免重复消费。

2. 逐步缩扩容消费组，平滑切换流量 #

由于topic A有3个分区，消费组的消费者数量最多不应超过3（避免闲置消费者），可按以下步骤操作：

• 第一步：将源集群topic-a-reader-group的消费者从3个缩减到2个，同时在目标集群同名消费组新增1个消费者（目标集群消费者数量变为2），保证总消费能力维持3，业务不受影响。
• 第二步：确认目标集群消费者正常消费、偏移量同步无误后，将源集群消费者减到1个，目标集群增加到3个。
• 第三步：观察目标集群完全承接流量后，停掉源集群最后1个消费者，完成迁移。
  注意：确保MM2的sync.group.offsets.enabled=true（默认开启），保证目标消费组偏移量与源集群实时对齐，避免切换时漏读或重复读取历史消息。

3. 偏移量导出导入配合流量切换 #

使用Kafka自带的kafka-consumer-groups.sh工具，先导出源集群消费组的偏移量：

kafka-consumer-groups.sh --bootstrap-server source-cluster:9092 --describe --group topic-a-reader-group --export > offsets.txt

修改offsets.txt中的topic名为source.A，再导入到目标集群的消费组：

kafka-consumer-groups.sh --bootstrap-server target-cluster:9092 --reset-offsets --group topic-a-reader-group --from-file offsets.txt --execute

导入完成后，启动目标集群的3个消费者，再逐步停止源集群的消费者。该方法能确保目标消费者从源消费组的当前偏移量开始消费，不会重复读取历史消息。

4. 利用MirrorMaker 2.0的远程消费功能 #

Kafka 2.8.1的MM2支持远程消费模式——让目标集群的消费者直接读取源集群的topic，同时将偏移量存储在目标集群。在MM2的connect-mirror-maker.properties中添加配置：

remote.group.consume.enabled=true
remote.group.consume.group.filters=topic-a-reader-group

待所有消费者切换到远程消费模式后，再逐步迁移到目标集群的镜像topicsource.A，最后断开与源集群的连接。

内容的提问来源于stack exchange，提问作者Sandeep Tengale