如何配置Kafka MirrorMaker 2实现源与目标集群不同主题名镜像?
Kafka MirrorMaker 2 主题重命名镜像配置指引
要实现源集群test主题镜像到目标集群xyx主题(无集群前缀),核心是利用MM2的主题重映射规则,具体配置步骤如下:
1. 修改MM2配置文件
找到你的MM2配置文件(通常为mm2.properties),在已有配置基础上添加主题重映射规则:
# 集群基础配置(确保你的集群定义与原有配置一致) clusters = source, target source.bootstrap.servers = <源集群Bootstrap地址> target.bootstrap.servers = <目标集群Bootstrap地址> # 指定要镜像的源主题(仅针对test主题) source->target.topics = test source->target.enabled = true # 核心:主题重映射规则 # 正则精确匹配源集群的test主题(^和$避免误匹配test1、test2等类似名称主题) source->target.topic.rename.regex = ^test$ # 将匹配到的主题重命名为目标集群的xyx source->target.topic.rename.replacement = xyx
2. 准备目标主题(可选)
如果目标集群未开启auto.create.topics.enable,需要手动创建xyx主题,确保其分区数、副本数与源test主题一致:
kafka-topics.sh --create --topic xyx --bootstrap-server <目标集群地址> --partitions <源test的分区数> --replication-factor <源test的副本数>
3. 重启MM2进程
修改配置后,重启MM2服务进程,让新配置生效。
4. 验证镜像效果
- 在源集群
test主题发送测试消息:kafka-console-producer.sh --broker-list <源集群地址> --topic test - 在目标集群
xyx主题消费消息,确认能正常接收源集群的消息:kafka-console-consumer.sh --bootstrap-server <目标集群地址> --topic xyx --from-beginning
内容的提问来源于stack exchange,提问作者Mangesh Sarangi
相关产品推荐
相关产品推荐

