如何在跨两个DC的Kafka集群中实现生产者幂等性并兼顾异步复制需求

核心设计思路 #

将DC1、DC2拆分为两个独立的Kafka集群，生产链路完全收敛在DC1侧，通过独立的异步同步工具实现DC1到DC2的数据备份，同时满足两类需求，且优先使用DC1的broker资源。

具体架构调整步骤 #

• 拆分原有跨DC单集群为两个独立集群：DC1集群仅包含DC1机房的broker节点，DC2集群仅包含DC2机房的broker节点，从架构层面隔离两侧的可用性依赖。
• DC1集群配置完全适配幂等生产者：
  • 所有topic默认配置3副本，min.insync.replicas=2
  • 生产者直接对接DC1集群，配置acks=all+enable.idempotence=true即可实现幂等性，写入确认仅需要DC1本地ISR副本返回，完全不受DC2侧的任何状态影响。
• 部署独立的跨DC异步复制链路：在DC2侧部署专用的MirrorMaker 2.0集群，主动从DC1的Kafka集群异步拉取消息同步到DC2集群，实现非阻塞的跨DC数据备份。
• 可选配置机架感知增强可用性：DC1内部的broker按照物理机架配置broker.rack参数，开启机架感知后副本会分散在不同物理机架，进一步提升DC1集群的容灾能力。

需求匹配验证 #

• 幂等生产者适配：DC1集群的生产流程完全不涉及DC2的任何节点，acks=all的确认逻辑仅在DC1内部完成，既满足幂等生产者的配置要求，也不会因为跨DC链路波动、DC2节点故障导致DC1生产不可用。
• 跨DC异步复制：MirrorMaker 2.0默认采用异步批量拉取策略，支持自定义同步延迟阈值、重试规则，DC2侧节点故障仅会导致同步延迟升高，不会阻塞DC1的业务写入，完全符合异步复制的要求。

高可用补充配置 #

• DC1侧至少部署3台broker节点，单台broker故障时ISR数量仍能满足min.insync.replicas=2的要求，不会导致生产不可用。
• MirrorMaker 2.0使用独立的消费组，位移存储在DC2集群本地，不会占用DC1的集群资源、也不会影响DC1的原生消费业务。
• DC1整体故障时可将生产流量切到DC2集群恢复业务，故障恢复后再通过MirrorMaker反向同步数据到DC1即可。

内容的提问来源于stack exchange，提问作者Alexander Fedyukov