如何使用Kafka命令行消费者解码MM2 offset sync主题消息？

KIP-382定义的MirrorMaker 2（MM2）中，mm2-offset-syncs.<target-cluster>.internal这类主题负责维护源集群与目标集群之间的消费偏移映射。直接用默认命令消费时，消息会显示为序列化后的二进制内容，确实可以通过指定对应反序列化器，让Kafka命令行消费者输出可读内容。

具体命令示例 #

修改你的原命令，添加key和value的反序列化器参数即可：

./kafka-console-consumer.sh --bootstrap-server localhost:xxxx \
  --topic mm2-offset-syncs.dest.internal \
  --from-beginning \
  --key-deserializer org.apache.kafka.common.serialization.StringDeserializer \
  --value-deserializer org.apache.kafka.connect.mirror.MirrorHeartbeat$OffsetSyncDeserializer

注意事项 #

• 需确保Kafka客户端的classpath中包含MirrorMaker 2的相关依赖包：
  • 如果你用的是Confluent发行版，默认已经包含connect-mirror-client相关jar包，无需额外配置；
  • 如果你用的是Apache Kafka官方包，需要确认connect-mirror-client-<kafka-version>.jar在classpath内，若命令执行时提示类找不到，可通过--class-path参数手动指定路径，比如：

    ./kafka-console-consumer.sh --bootstrap-server localhost:xxxx \
      --topic mm2-offset-syncs.dest.internal \
      --from-beginning \
      --key-deserializer org.apache.kafka.common.serialization.StringDeserializer \
      --value-deserializer org.apache.kafka.connect.mirror.MirrorHeartbeat$OffsetSyncDeserializer \
      --class-path /path/to/kafka/libs/connect-mirror-client-<kafka-version>.jar
    

• 反序列化成功后，消息会以JSON格式输出，内容包含源集群主题分区偏移、目标集群对应偏移、同步时间戳等关键信息。

内容的提问来源于stack exchange，提问作者Tushar