You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Active-Passive架构Kafka集群创建Topic的正确方法

Active-Passive架构Kafka集群Topic创建操作指引

是否需要在双集群单独创建Topic,完全取决于你使用的MirrorMaker版本和对应配置,具体规则如下:

  • 若使用Kafka 2.4及以上版本自带的MirrorMaker 2.0(MM2)
    无需手动在Passive集群提前创建Topic,MM2内置的MirrorSourceConnector支持自动检测Active集群的新增Topic,在Passive集群侧自动创建对应的镜像副本,只需提前开启对应配置即可:
    • 确保连接器参数topic.creation.enable设置为true(该参数默认即为开启状态,控制MM2的自动建Topic能力,注意不需要开启Passive集群Broker全局的auto.create.topics.enable参数,全局开启会带来客户端随意写入生成非法Topic的风险)
    • 确保sync.topic.configs.enabled设置为true(默认开启),MM2创建镜像Topic时会自动同步源端Topic的分区数、副本数、消息保留策略等核心配置,避免两端配置不匹配导致同步异常
    • 在topics配置项中正确设置Topic同步白名单,支持正则匹配,只有命中规则的新增Topic才会被自动同步创建,未纳入白名单的Topic不会被检测和同步
      注意:MM2默认创建的镜像Topic会携带源集群别名前缀,例如Active集群别名为active、源Topic名为pay_record,则Passive侧自动创建的Topic名为active.pay_record,如果需要两端Topic名完全一致,需额外配置身份重写规则。
  • 若使用老版本MirrorMaker 1.0(MM1)
    必须在Active、Passive两个集群单独手动创建Topic,且创建时要保证两端Topic的分区数、副本数、消息保留规则等核心配置完全一致。MM1本身没有Topic自动检测、自动创建和配置同步能力,未提前在Passive侧建Topic会直接导致同步任务写入失败。

生产环境最佳实践:即使开启了MM2的自动建Topic能力,核心业务Topic仍建议提前在两侧集群按容量规划手动创建,避免自动建Topic时默认配置不符合业务性能、存储要求,影响线上业务稳定性;自动建能力更适合非核心Topic、临时测试Topic的同步场景。

内容的提问来源于stack exchange,提问作者Denis Voloshin

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.08.28 11:30:43