如何确保Strimzi Kafka集群副本分布在不同数据中心？

Strimzi目前确实暂不支持Kafka的Stretch集群特性，但可以通过以下几种方式实现副本跨数据中心（DC）分布的需求：

1. 基于Kubernetes节点亲和性/反亲和性调度 #

首先需要为跨DC部署的Kubernetes节点打上专属标签（例如dc=dc1、dc=dc2），然后在Strimzi的Kafka自定义资源（CR）中配置调度约束，强制副本分布到不同DC：

• Pod反亲和性：确保同一个Kafka集群的broker副本不会被调度到同一DC的节点上，避免单DC故障影响多个副本
• 节点亲和性：指定broker只能调度到目标DC的节点池

示例配置片段：

spec:
  kafka:
    replicas: 3
    # 配置Pod反亲和性，基于DC标签隔离副本
    podAntiAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        - labelSelector:
            matchExpressions:
              - key: strimzi.io/cluster
                operator: In
                values:
                  - my-kafka-cluster
              - key: strimzi.io/kind
                operator: In
                values:
                  - Kafka
          topologyKey: "dc"
    # 配置节点亲和性，限定调度到指定DC节点
    affinity:
      nodeAffinity:
        requiredDuringSchedulingIgnoredDuringExecution:
          nodeSelectorTerms:
            - matchExpressions:
                - key: dc
                  operator: In
                  values:
                    - dc1
                    - dc2
                    - dc3

注意：该方案要求你的Kubernetes集群是跨DC部署的（如联邦集群或统一管控的多DC节点池），Strimzi完全依赖K8s的调度能力实现副本跨DC分布。

2. 手动指定副本分配策略 #

你可以先通过节点亲和性将不同DC的Kafka broker固定到对应节点，然后在创建Topic时手动指定副本分配到不同DC的broker，或者使用Kafka自带的工具调整已有Topic的副本分布：

• 创建Topic时指定副本分配：

kafka-topics.sh --create --topic cross-dc-topic --bootstrap-server my-kafka-cluster-kafka-bootstrap:9092 \
  --replica-assignment 0:1:2 --partitions 5

（假设broker 0部署在dc1，broker 1在dc2，broker 2在dc3）

• 调整已有Topic的副本分布：
  先生成副本重分配计划文件reassignment.json，内容示例：

{"version":1,"partitions":[{"topic":"cross-dc-topic","partition":0,"replicas":[0,1,2]},{"topic":"cross-dc-topic","partition":1,"replicas":[1,2,0]}]}

然后执行重分配：

kafka-reassign-partitions.sh --bootstrap-server my-kafka-cluster-kafka-bootstrap:9092 \
  --reassignment-json-file reassignment.json --execute

3. 跨DC节点扩展与副本迁移 #

如果是从单DC集群逐步扩展到跨DC部署，可以按以下步骤操作：

1. 在新DC添加Kubernetes节点并打上对应DC标签
2. 修改Strimzi Kafka CR，增加broker副本数，并通过节点亲和性将新broker调度到新DC
3. 使用kafka-reassign-partitions.sh工具，将原有Topic的副本逐步迁移到新DC的broker上，最终实现每个分区的副本分布在不同DC

内容的提问来源于stack exchange，提问作者Jicaar