咨询Mirror Maker配置新增主题无需重启的替代方法
Kafka Mirror Maker 新增主题无需重启的替代方案
Mirror Maker 2(MM2)
- 动态更新复制规则:MM2自带动态配置加载能力,不用重启服务就能新增主题同步。它会监听默认名为
mm2-configs的Kafka主题,你可以用kafka-configs.sh工具直接往这个主题里添加新的主题复制规则,比如:
执行后MM2会自动识别配置变化,立刻开始同步新主题,全程不用重启服务。bin/kafka-configs.sh --bootstrap-server <目标集群地址> --alter --add-config 'mirror.maker2.source.clusters=<源集群>,mirror.maker2.target.cluster=<目标集群>,mirror.maker2.topics=你的新主题名' --entity-type mirrors --entity-name <镜像任务名> - 提前配置通配符规则:如果能预判新增主题的命名规律,直接在MM2配置里用通配符(比如
*或者order-*),后续符合规则的新主题一创建,MM2就会自动启动同步,连配置都不用改。比如配置文件里这么写:mirrors.<镜像任务名>.topics=order-*
Mirror Maker 1(MM1)
MM1本身没设计动态加载配置的功能,但可以用这两个方法绕开重启:
- 提前用通配符白名单:启动MM1的时候,用
--whitelist参数指定正则匹配的主题规则,比如--whitelist="user-.*",之后新增的符合这个正则的主题会被自动纳入同步范围,不用重启服务。 - 发送SIGHUP信号重载配置(部分版本支持):如果你的MM1版本支持该特性,先修改配置文件里的
whitelist或者topics参数,然后给MM1进程发送SIGHUP信号,让它重新加载配置。操作示例:
注意:这个方法不是所有MM1版本都支持,得先测试确认有效性。# 先修改好MM1的配置文件 kill -SIGHUP <MM1进程ID>
内容的提问来源于stack exchange,提问作者Tushar
相关产品推荐
相关产品推荐

