如何将Kubernetes索引Job的Pod按索引分组调度到同一节点？

核心思路 #

利用Kubernetes的**拓扑扩展亲和性（Topology Spread Constraints）**实现软调度偏好：通过给每个Pod添加基于job-completion-index计算的分组标签，让调度器尽量将同组的4个Pod调度到同一节点，同时允许在资源不足时灵活调度。

具体配置步骤 #

1. 给Pod添加分组标签
   通过字段引用表达式，根据job-completion-index计算出分组ID（每4个索引为一组），作为Pod的标签。例如：

   • 索引0-3 → group-id: 0
   • 索引4-7 → group-id: 1
   • 以此类推

2. 配置拓扑扩展亲和性软约束
   使用topologySpreadConstraints指定：同一分组的Pod尽量被调度到同一节点，若无法满足则正常调度（软约束）。

完整Job YAML示例 #

apiVersion: batch/v1
kind: Job
metadata:
  name: indexed-grouped-job
spec:
  parallelism: 100
  completions: 100
  completionMode: Indexed
  template:
    metadata:
      labels:
        job-name: indexed-grouped-job
        # 计算分组ID：job-completion-index除以4取整
        group-id: "{{div .PodMetadata.Labels.job-completion-index 4}}"
    spec:
      topologySpreadConstraints:
      - maxSkew: 0
        topologyKey: kubernetes.io/hostname
        whenUnsatisfiable: ScheduleAnyway
        labelSelector:
          matchLabels:
            job-name: indexed-grouped-job
        matchLabelKeys:
        - group-id
      containers:
      - name: job-container
        image: your-image:tag
        resources:
          requests:
            # 确保每个节点最多容纳4个Pod（根据你的节点资源调整）
            cpu: "250m"
            memory: "512Mi"
      restartPolicy: OnFailure

关键配置解释 #

• 分组标签计算：{{div .PodMetadata.Labels.job-completion-index 4}}是Kubernetes的字段引用表达式，自动根据Pod的job-completion-index标签计算分组ID，无需手动设置。
• 拓扑扩展亲和性：
  • topologyKey: kubernetes.io/hostname：以节点为拓扑域，确保同组Pod尽量在同一节点。
  • maxSkew: 0：要求同一拓扑域内的同组Pod数量差异为0，即尽量全部在一个节点。
  • whenUnsatisfiable: ScheduleAnyway：软约束，若无法满足分组调度（比如节点资源不足），调度器仍会正常调度Pod，不会阻塞任务执行。
• 资源请求：保留你原本的resources.requests配置，确保每个节点最多能容纳4个Pod，这是分组调度的资源基础。

注意事项 #

• EKS 1.29完全支持上述特性（字段引用表达式需Kubernetes 1.24+，拓扑扩展亲和性需1.18+）。
• 集群自动扩缩容（cluster-autoscaler）会根据Pod调度需求自动扩容节点，无任务时会缩容至0，不影响现有逻辑。

内容的提问来源于stack exchange，提问作者siddhant