Kubernetes软调度podAntiAffinity未按预期分配Pod求助

问题原因 #

你的软调度（preferredDuringSchedulingIgnoredDuringExecution）未按预期工作，核心原因通常有以下几点：

• 权重设置过低：软规则的权重默认可能被调度器的其他打分因子（如节点资源剩余量、节点亲和规则）覆盖。如果软反亲和的权重远低于其他因子，调度器会优先选择资源更充足的节点，而非满足分散部署的要求。
• 规则配置错误：比如topologyKey未设置为kubernetes.io/hostname（按节点维度分散的关键），或者labelSelector未正确匹配目标Pod的标签，导致调度器无法识别需要避免的节点。
• 其他调度优先级干扰：节点存在污点容忍、节点亲和规则，或调度器插件（如NodeResourcesFit）的权重配置过高，使得软反亲和的打分优先级被压制。

硬调度（requiredDuringSchedulingIgnoredDuringExecution）能正常分散Pod，是因为它属于调度的预选阶段规则，不满足的节点会直接被排除；而软规则属于打分阶段，仅影响节点的最终得分排序，优先级低于预选规则。

解决方案 #

1. 修正podAntiAffinity配置，提升权重 #

将软反亲和的权重设置为较高值（如100），确保其打分优先级超过常规资源类因子。以下是正确的Deployment配置示例：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: foo-deployment
spec:
  replicas: 4
  selector:
    matchLabels:
      app: foo
  template:
    metadata:
      labels:
        app: foo
    spec:
      affinity:
        podAntiAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - weight: 100
            podAffinityTerm:
              labelSelector:
                matchExpressions:
                - key: app
                  operator: In
                  values:
                  - foo
              topologyKey: kubernetes.io/hostname
      containers:
      - name: foo-container
        image: your-image:tag
        resources:
          requests:
            cpu: "100m"
            memory: "128Mi"

关键配置说明：

• weight: 100：最大化软规则的打分权重，确保调度器优先考虑分散部署。
• topologyKey: kubernetes.io/hostname：明确按节点维度进行反亲和判断。
• labelSelector精准匹配目标Pod的标签，确保调度器识别已部署的foo Pod。

2. 排查节点调度干扰因素 #

• 检查目标节点是否存在节点亲和规则或污点容忍配置，这些规则的优先级可能高于软反亲和。
• 查看调度器配置（如kube-scheduler的config.yaml），确认NodeResourcesFit等资源类插件的权重未过高压制软亲和的打分。

3. 替代方案：使用Pod拓扑分散约束（PodTopologySpreadConstraints） #

Kubernetes 1.19+支持podTopologySpreadConstraints，专门用于实现Pod在拓扑域（如节点、AZ）的均匀分布，比podAntiAffinity更灵活可靠，尤其适合副本数超过节点数量的场景：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: foo-deployment
spec:
  replicas: 4
  selector:
    matchLabels:
      app: foo
  template:
    metadata:
      labels:
        app: foo
    spec:
      topologySpreadConstraints:
      - maxSkew: 1
        topologyKey: kubernetes.io/hostname
        whenUnsatisfiable: ScheduleAnyway
        labelSelector:
          matchLabels:
            app: foo
      containers:
      - name: foo-container
        image: your-image:tag
        resources:
          requests:
            cpu: "100m"
            memory: "128Mi"

配置说明：

• maxSkew: 1：确保同一节点上的foo Pod数量与其他节点的差值不超过1。
• whenUnsatisfiable: ScheduleAnyway：当无法完全满足分散要求时（如副本数超过节点数），仍允许调度到已有的节点，实现"优先分散、复用节点"的需求。

内容的提问来源于stack exchange，提问作者Ruchir Bharadwaj