将两个OnPrem Kafka集群合并迁移至AWS MSK集群的可行性咨询

• 主题前缀预处理
  先分别对两个本地集群的主题添加环境前缀：

  • 开发集群：将原有主题（如topicA）重命名为dev_topicA，执行命令：

    kafka-topics.sh --bootstrap-server <dev集群地址> --alter --topic topicA --rename-to dev_topicA
    

  • 测试集群：同理将主题重命名为test_topicA，执行对应命令即可。

• 数据迁移至AWS MSK
  推荐使用Kafka MirrorMaker 2（MM2）完成跨集群数据同步，核心是配置主题映射规则：

  • 针对开发集群，配置规则把源主题映射为带dev_前缀的目标主题；针对测试集群，映射为带test_前缀的目标主题。
  • MM2会自动在MSK集群中创建对应前缀的主题，并同步所有历史数据和实时数据流。

• 应用适配调整
  迁移完成后，修改dev和test环境下应用的Kafka配置：

  • 开发应用的生产者/消费者指定dev_前缀的主题；
  • 测试应用指定test_前缀的主题，确保业务流程正常衔接。

• 可选：环境权限隔离
  在MSK中通过IAM策略或Kafka ACL配置权限，限制开发环境应用仅能访问dev_*主题，测试环境应用仅能访问test_*主题，避免跨环境的误操作或数据干扰。

内容的提问来源于stack exchange，提问作者Huong