如何在拓扑域内跨节点均匀分布Pod并保持跨域均衡？

假设存在如下集群：

zoneA:
- node1: 8 CPU
zoneB:
- node2: 4 CPU
- node3: 4 CPU

zoneB的资源总和与zoneA相等，若要将标签为app: foo的Pod跨可用区均匀分布，常规配置的Pod拓扑分布约束如下：

spec:
  topologySpreadConstraints:
  - maxSkew: 1
    topologyKey: topology.kubernetes.io/zone
    whenUnsatisfiable: DoNotSchedule
    labelSelector:
      matchLabels:
        app: foo

该约束仅能保证Pod在两个可用区间均匀分布，但无法约束同一可用区内节点间的Pod分布。比如调度4个Pod时，zoneB内理想的均匀分布应为：

node1 (8 CPU): 2 pods
node2 (4 CPU): 1 pod
node3 (4 CPU): 1 pod

但上述约束无法阻止出现如下非均匀分布：

node1 (8 CPU): 2 pods
node2 (4 CPU): 2 pods
node3 (4 CPU): 0 pods

提问 #

是否存在一种约束配置，既能保证zoneB内节点间的Pod均匀分布，又能维持zoneA与zoneB之间的Pod均衡？

可以通过配置两层Pod拓扑分布约束同时满足跨可用区均衡和同区节点均匀分布的需求：

完整配置示例 #

spec:
  topologySpreadConstraints:
  # 约束1：跨可用区的Pod均衡
  - maxSkew: 1
    topologyKey: topology.kubernetes.io/zone
    whenUnsatisfiable: DoNotSchedule
    labelSelector:
      matchLabels:
        app: foo
  # 约束2：节点间的Pod均匀分布（全局生效）
  - maxSkew: 1
    topologyKey: kubernetes.io/hostname
    whenUnsatisfiable: DoNotSchedule
    labelSelector:
      matchLabels:
        app: foo

配置说明 #

1. 跨可用区约束：通过topologyKey: topology.kubernetes.io/zone确保zoneA和zoneB之间的Pod数量偏差不超过1，维持跨区均衡。
2. 节点间约束：通过topologyKey: kubernetes.io/hostname限制全集群内任意两个节点上的app: foo Pod数量偏差不超过1，避免单个节点被过度调度。

针对zoneB节点的精细化配置 #

如果只需要对zoneB内的节点做均匀分布约束（zoneA的node1不受节点间分布限制），可以给第二层约束添加nodeSelector，指定仅作用于zoneB节点：

# 约束2：仅针对zoneB节点的均匀分布
- maxSkew: 1
  topologyKey: kubernetes.io/hostname
  whenUnsatisfiable: DoNotSchedule
  labelSelector:
    matchLabels:
      app: foo
  nodeSelector:
    topology.kubernetes.io/zone: zoneB

效果验证 #

调度4个app: foo Pod时，最终分布会满足：

• zoneA的node1上运行2个Pod，zoneB的node2和node3各运行1个Pod
• 既保证了跨可用区的均衡，又避免了zoneB内节点出现Pod分布不均的情况

内容的提问来源于stack exchange，提问作者Wizard Brony