在EKS集群Helm部署的Airflow中解决openpyxl包缺失问题

方法1：通过Helm Values配置全局依赖 #

Airflow的Helm Chart支持直接在配置文件中声明需要额外安装的Python包，步骤如下：

• 打开你的Airflow Helm配置文件（比如values.yaml）
• 添加或修改extraPipPackages字段，将openpyxl（可指定版本，和本地环境一致更稳妥）加入：

  extraPipPackages:
    - openpyxl==3.1.2
  

• 执行Helm升级命令让配置生效：

  helm upgrade airflow apache-airflow/airflow -f values.yaml -n your-airflow-namespace
  

  此方法会给所有Airflow相关Pod（scheduler、worker等）安装依赖，适合全局通用的包。

方法2：为特定DAG配置自定义Pod模板（KubernetesExecutor场景） #

如果你的Airflow使用KubernetesExecutor，可以给单个DAG指定Pod模板，通过初始化容器预装依赖：

• 在DAG代码中指定pod_template_file参数，关联自定义模板：

  from airflow import DAG
  from airflow.providers.cncf.kubernetes.operators.kubernetes_pod import KubernetesPodOperator
  from datetime import datetime
  
  with DAG(
      dag_id="your_target_dag",
      start_date=datetime(2024, 1, 1),
      schedule=None
  ) as dag:
      process_task = KubernetesPodOperator(
          task_id="excel_process_task",
          image="apache/airflow:2.8.0",  # 替换为你当前使用的Airflow镜像
          cmds=["python", "-c"],
          arguments=["from openpyxl.workbook import Workbook; print('依赖加载成功')"],
          pod_template_file="./pod_template.yaml",
          namespace="your-airflow-namespace"
      )
  

• 编写pod_template.yaml，通过initContainer安装依赖：

  apiVersion: v1
  kind: Pod
  metadata:
    name: airflow-custom-pod
  spec:
    initContainers:
      - name: install-deps
        image: apache/airflow:2.8.0
        command: ["pip", "install", "openpyxl==3.1.2"]
        volumeMounts:
          - name: pip-cache
            mountPath: /root/.cache/pip
    containers:
      - name: airflow-worker
        image: apache/airflow:2.8.0
        volumeMounts:
          - name: pip-cache
            mountPath: /root/.cache/pip
    volumes:
      - name: pip-cache
        emptyDir: {}
  

  该方法仅对指定DAG的Pod生效，适合仅个别任务需要的依赖。

方法3：构建自定义Airflow镜像（长期维护推荐） #

如果需要固定多个自定义依赖，推荐构建专属Airflow镜像：

• 创建Dockerfile：

  FROM apache/airflow:2.8.0
  RUN pip install openpyxl==3.1.2
  

• 构建镜像并推送到你的容器仓库（比如AWS ECR）：

  docker build -t your-ecr-repo/airflow-custom:2.8.0 .
  docker push your-ecr-repo/airflow-custom:2.8.0
  

• 修改Helm配置文件，指定自定义镜像：

  images:
    airflow:
      repository: your-ecr-repo/airflow-custom
      tag: 2.8.0
  

• 执行Helm升级命令完成配置更新。
  此方法稳定性最高，适合有多个自定义依赖的场景，避免重复配置。

注意：若使用CeleryExecutor，方法1和3同样适用；方法2仅针对KubernetesExecutor。另外，务必保证依赖版本与本地环境一致，避免版本兼容问题。

内容的提问来源于stack exchange，提问作者Ramanichandran