Strimzi MirrorMaker2消费者偏移量未同步至目标集群问题排查
消费者偏移量未同步的排查建议
针对你使用Strimzi MirrorMaker2(Kafka 3.5.1)同步消费者偏移量失败的问题,结合你的配置,可从以下几个方向排查:
验证消费者组名称匹配
你的配置中groupsPattern: iflight_.*是小写开头的正则,需确认源集群的消费者组名严格符合该规则(比如是否存在大小写不匹配,如源组名为IFLIGHT_xxx)。MM2只会同步匹配该正则的组偏移量,若组名不匹配则不会触发同步。检查权限配置
MirrorMaker2的Checkpoint Connector需要:- 源集群权限:能够
DescribeGroups、读取__consumer_offsets主题; - 目标集群权限:能够写入
__consumer_offsets主题以及MM2内部的offset-syncs、checkpoints主题。
需确认MM2使用的ServiceAccount在两个集群上都配置了对应权限。
- 源集群权限:能够
确认内部主题状态
检查目标集群上的MM2内部主题:offset-syncs.my-cluster-source(因使用IdentityReplicationPolicy且分隔符为空):确认该主题已创建,分区副本状态正常(ISR全部在线);mm2-checkpoints.my-cluster-source.my-cluster-target:检查主题是否存在,是否有新的checkpoint记录生成。
若这些内部主题异常,会直接导致偏移量同步失败。
查看MM2组件日志
查看MirrorMaker2 Connect Pod的日志(kubectl logs -n kafka <MM2_POD_NAME> -c connect),重点搜索group offsets、checkpoint、offset-sync相关关键词,排查是否有权限报错、组未找到、主题操作失败等异常信息。验证源集群消费者偏移量状态
在源集群执行命令确认消费者组的已提交偏移量:kafka-consumer-groups.sh --bootstrap-server iflight-cluster-kafka-bootstrap.kafka.svc.cluster.local:9092 --describe --group <你的消费者组名>确认
CURRENT-OFFSET字段确实为预期的2570,且该组存在已提交的偏移量记录。检查复制策略的映射逻辑
虽然使用了IdentityReplicationPolicy,需确认MM2在同步偏移量时是否正确关联了目标集群的同名主题。可通过查看offset-syncs主题的消息内容,确认偏移量对应的主题名是否与目标集群的复制主题一致。
内容的提问来源于stack exchange,提问作者Mahendran
相关产品推荐
相关产品推荐

