如何在EKS Fargate上启动默认临时存储更大的Pod？

EKS Fargate支持调整临时存储容量，支持范围为21Gi~200Gi，和ECS Fargate的存储规则一致。

操作步骤 #

• 给Pod添加EKS官方规定的临时存储配置注解：eks.amazonaws.com/fargate-ephemeral-storage，值填写你需要的存储容量，单位为Gi
• 同步在Pod的资源请求和限制中配置ephemeral-storage的数值，和注解的值保持一致，避免Kubernetes资源校验失败

Airflow KubernetesPodOperator 配置示例 #

from airflow.providers.cncf.kubernetes.operators.kubernetes_pod import KubernetesPodOperator

large_batch_job = KubernetesPodOperator(
    task_id="large_fargate_batch_task",
    name="large-fargate-batch-pod",
    namespace="your-namespace",
    image="your-workload-image:v1",
    # 配置Fargate临时存储注解
    annotations={
        "eks.amazonaws.com/fargate-ephemeral-storage": "100Gi"
    },
    # 资源配置同步匹配临时存储大小
    resources={
        "requests": {
            "cpu": "4",
            "memory": "16Gi",
            "ephemeral-storage": "100Gi"
        },
        "limits": {
            "cpu": "4",
            "memory": "16Gi",
            "ephemeral-storage": "100Gi"
        }
    },
    # 其他原有配置项，确保Pod调度到Fargate
    node_selector={"eks.amazonaws.com/compute-type": "fargate"},
    is_delete_operator_pod=True,
    get_logs=True
)

注意事项 #

• 存储容量取值必须为21~200之间的整数，单位固定为Gi，填写其他单位或超出范围的数值会导致Pod无法正常创建
• 仅20Gi以内的临时存储包含在Fargate基础计费中，超出部分会按照Fargate临时存储的单独费率计费
• 配置生效后可进入Pod执行df -h /验证根分区容量是否符合配置值
• 该注解仅对Fargate调度的Pod生效，EKS托管节点组、自建节点上运行的Pod不会响应该配置

内容的提问来源于stack exchange，提问作者alt-f4