Airflow MWAA中KubernetesPodOperator的pod_template_file正确用法

我在AWS MWAA上运行Airflow，Worker基于Kubernetes调度，Pod调度正常，但使用KubernetesPodOperator的pod_template_file参数时遇到两个异常：

• 使用存储在S3的Pod模板文件时，报错Pod spec缺少image字段（但模板中已配置该字段）
• 配置full_pod_spec后，模板文件被完全忽略，仅启动alpine容器后退出

请问在Airflow中如何正确引用pod_template_file？

模板文件内容 #

apiVersion: v1
kind: Pod
metadata:
  name: app1
  namespace: app1
spec:
  containers:
  - name: base
    image: "alpine:latest"
    command: ["/bin/sh"]
    args: ["-c", "while true; do echo hi>> /data/app.log; sleep 5; done"]
    volumeMounts:
    - name: persistent-storage
      mountPath: /data
  volumes:
  - name: persistent-storage
    persistentVolumeClaim:
      claimName: claim1

第一种DAG代码 #

t_1 = KubernetesPodOperator(
    task_id=job_name_1,
    namespace="app",
    name=job_name_1,
    get_logs=True,
    is_delete_operator_pod=False,
    in_cluster=False,
    config_file=kube_config_path,
    startup_timeout_seconds=240,
    cluster_context='test',
    pod_template_file="/opt/airflow/pod_template_file_example-1.yaml",
    dag=dag)

第二种DAG代码 #

full_pod_spec = k8s.V1Pod(
    metadata=metadata_2,
    spec=k8s.V1PodSpec(containers=[
        k8s.V1Container(
            name="base",
            image="alpine:latest",
        )
    ], ))

t_1 = KubernetesPodOperator(
    task_id=job_name_1,
    namespace="mlops",
    name=job_name_1,
    get_logs=True,
    is_delete_operator_pod=False,
    in_cluster=False,
    config_file=kube_config_path,
    startup_timeout_seconds=240,
    cluster_context='aws',
    full_pod_spec=full_pod_spec,
    pod_template_file="/opt/airflow/pod_template_file_example-1.yaml",
    dag=dag)

问题解决方法 #

1. S3存储模板报缺少image字段的处理 #

AWS MWAA无法直接读取S3路径的模板文件，必须通过MWAA自动同步机制将S3文件拉取到Worker本地：

• 将模板文件上传到MWAA关联S3桶的dags或plugins子目录（例如s3://your-mwaa-bucket/pod_templates/pod_template_file_example-1.yaml）
• MWAA会自动同步文件到Worker的/usr/local/airflow/dags/或/usr/local/airflow/plugins/目录，因此pod_template_file要使用本地同步后的路径，比如/usr/local/airflow/dags/pod_templates/pod_template_file_example-1.yaml
• 确保模板中的容器名称为base（KubernetesPodOperator默认容器名），否则Operator会识别不到对应容器，误报缺少image字段

2. 配置full_pod_spec后模板被忽略的处理 #

full_pod_spec参数优先级高于pod_template_file，一旦指定会完全覆盖模板逻辑：

• 不要同时设置full_pod_spec和pod_template_file，如需复用模板，直接通过pod_template_file引用完整定义即可
• 若需修改模板部分字段，用Operator的image、command等参数直接覆盖，这些参数会自动合并到模板的Pod规格中，无需使用full_pod_spec

正确使用示例 #

调整后的DAG代码（假设模板已同步到本地路径）：

t_1 = KubernetesPodOperator(
    task_id=job_name_1,
    namespace="app1",  # 可与模板namespace保持一致或按需修改
    name=job_name_1,
    get_logs=True,
    is_delete_operator_pod=False,
    in_cluster=True,  # MWAA环境建议启用，无需手动指定kube config和context
    startup_timeout_seconds=240,
    pod_template_file="/usr/local/airflow/dags/pod_templates/pod_template_file_example-1.yaml",
    dag=dag)

额外注意事项 #

• MWAA中in_cluster=True即可自动获取集群配置，无需手动指定config_file和cluster_context
• 模板中metadata.name会被Operator的name参数覆盖，无需严格匹配
• 确保模板中指定的PVCclaim1在目标namespace中存在，否则Pod会因挂载失败启动异常

内容的提问来源于stack exchange，提问作者Naxi