运行资源需求不均衡的并行Katib试验时，如何避免OOMKilled？

针对你遇到的Katib试验内存需求差异大、大试验易触发OOM的问题，可通过以下Kubernetes层面的手段实现试验Pod的按需调度，避免资源挤占：

1. 基于超参数动态配置Pod资源请求/限制 #

核心思路是让不同超参数对应的试验Pod，向Kubernetes申请匹配其内存需求的资源，调度器会自动在节点资源不足时将Pod置为Pending状态，直到有足够资源再调度。

在Katib Experiment的试验模板中，通过trialParameters关联超参数与Pod资源配置：

apiVersion: kubeflow.org/v1beta1
kind: Experiment
metadata:
  name: memory-aware-experiment
spec:
  trialTemplate:
    primaryContainerName: trainer
    trialParameters:
    - name: memReq
      reference: memory_request
    - name: memLim
      reference: memory_limit
    trialSpec:
      apiVersion: batch/v1
      kind: Job
      spec:
        template:
          spec:
            containers:
            - name: trainer
              image: your-training-image:latest
              resources:
                requests:
                  memory: "{{trialParameters.memReq}}"
                limits:
                  memory: "{{trialParameters.memLim}}"
              command: ["python", "train.py"]
  algorithm:
    algorithmName: random
  parameters:
  - name: memory_request
    parameterType: categorical
    feasibleSpace:
      list: ["2Gi", "16Gi", "64Gi"]
  - name: memory_limit
    parameterType: categorical
    feasibleSpace:
      list: ["4Gi", "32Gi", "128Gi"]
  parallelTrialCount: 16
  maxTrialCount: 100

这里将内存请求/限制与超参数绑定，大试验会申请更多内存，K8s调度器只会在节点有剩余资源时才调度该Pod，不会强行分配导致OOM。

2. 利用优先级与抢占机制控制调度顺序 #

给小型试验设置高优先级，大型试验设置低优先级，确保资源不足时，大试验Pod保持Pending，优先调度小试验；同时避免大试验抢占已运行的小试验资源。

步骤1：创建优先级类 #

# 高优先级（小试验用）
apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: small-trial-priority
value: 1000000
globalDefault: false
description: "Priority class for memory-light Katib trials"
---
# 低优先级（大试验用）
apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: large-trial-priority
value: 1000
globalDefault: false
description: "Priority class for memory-heavy Katib trials"

步骤2：在试验模板中关联优先级 #

在trialSpec.template.spec中添加优先级类配置，并通过超参数动态绑定：

# 扩展trialParameters
trialParameters:
- name: priorityClass
  reference: trial_priority
# 在trialSpec.template.spec中添加
priorityClassName: "{{trialParameters.priorityClass}}"
# 超参数配置
parameters:
- name: trial_priority
  parameterType: categorical
  feasibleSpace:
    list: ["small-trial-priority", "large-trial-priority"]

这样大试验会因优先级低，在资源不足时进入Pending状态，等待小试验释放资源。

3. 用资源配额（Resource Quotas）隔离试验组 #

将不同内存需求的试验分配到独立命名空间，给每个命名空间设置资源配额，限制并行运行的试验数量与总内存使用，从根源上避免资源挤占。

步骤1：创建专用命名空间 #

apiVersion: v1
kind: Namespace
metadata:
  name: small-trials
---
apiVersion: v1
kind: Namespace
metadata:
  name: large-trials

步骤2：配置资源配额 #

# 小试验命名空间配额：允许16个Pod，总内存64Gi
apiVersion: v1
kind: ResourceQuota
metadata:
  name: small-trials-quota
  namespace: small-trials
spec:
  hard:
    pods: "16"
    requests.memory: "64Gi"
    limits.memory: "128Gi"
---
# 大试验命名空间配额：允许2个Pod，总内存128Gi
apiVersion: v1
kind: ResourceQuota
metadata:
  name: large-trials-quota
  namespace: large-trials
spec:
  hard:
    pods: "2"
    requests.memory: "128Gi"
    limits.memory: "256Gi"

步骤3：试验模板指定命名空间 #

通过超参数动态设置试验的运行命名空间：

trialParameters:
- name: trialNs
  reference: trial_namespace
# 在trialSpec.metadata中设置
metadata:
  namespace: "{{trialParameters.trialNs}}"
# 超参数配置
parameters:
- name: trial_namespace
  parameterType: categorical
  feasibleSpace:
    list: ["small-trials", "large-trials"]

4. 自定义调度逻辑（进阶） #

如果上述方法仍无法满足需求，可编写一个简单的Kubernetes自定义控制器，监听Katib Trial的创建事件：

• 根据超参数判断试验属于大/小类型
• 当大试验数量超过集群可承载上限时，修改大试验Pod的nodeSelector或添加taint/toleration，使其暂时无法调度
• 当已有大试验完成后，再解除调度限制，让Pending的大试验启动

这种方式灵活性最高，但需要一定的K8s控制器开发能力。

内容的提问来源于stack exchange，提问作者Romeo Kienzler