在Kubernetes Helm部署的Airflow中添加dbt-cloud依赖的正确方法

你直接在deploy.sh里执行pip install是无效的——这个操作是在本地/部署脚本环境安装依赖，而非Airflow运行所在的Kubernetes Pod容器内部。以下是三种适合新手的、在Helm部署的Airflow中集成Python依赖的正确方法：

方法1：通过Helm Values直接配置自动安装（最简便） #

Airflow的官方Helm Chart支持直接指定额外的Pip包，会自动在Scheduler、Worker等Pod启动时安装：

• 如果你用命令行部署，直接追加参数：

  helm upgrade --install airflow apache-airflow/airflow \
    --set airflow.extraPipPackages="apache-airflow-providers-dbt-cloud"
  

• 如果你用values.yaml配置文件，添加以下内容：

  airflow:
    extraPipPackages:
      - apache-airflow-providers-dbt-cloud
  

  然后执行部署/更新命令：

  helm upgrade --install airflow apache-airflow/airflow -f your-values.yaml
  

方法2：自定义Airflow镜像（适合多依赖/复杂环境） #

如果需要安装多个依赖或自定义环境，建议构建自己的镜像：

1. 编写Dockerfile（替换成你使用的Airflow版本）：

   FROM apache/airflow:2.7.3
   RUN pip install apache-airflow-providers-dbt-cloud
   

2. 构建镜像到Minikube本地仓库（无需推送到远程镜像站）：

   # 切换到Minikube的Docker环境
   eval $(minikube docker-env)
   # 构建镜像
   docker build -t my-custom-airflow:latest .
   

3. 在values.yaml中配置使用自定义镜像：

   images:
     airflow:
       repository: my-custom-airflow
       tag: latest
       pullPolicy: Never  # 本地镜像无需拉取
   

4. 重新部署Airflow：

   helm upgrade --install airflow apache-airflow/airflow -f your-values.yaml
   

方法3：用KubernetesPodOperator隔离依赖（适合单DAG临时需求） #

如果仅某个DAG需要dbt-cloud依赖，可以用KubernetesPodOperator启动独立Pod运行任务（缺点是每次运行都会安装依赖，效率较低）：

from airflow import DAG
from airflow.providers.cncf.kubernetes.operators.kubernetes_pod import KubernetesPodOperator
from datetime import datetime

with DAG(
    dag_id="dbt_cloud_task",
    start_date=datetime(2024,1,1),
    schedule_interval=None
) as dag:
    run_dbt = KubernetesPodOperator(
        task_id="run_dbt_job",
        name="dbt-cloud-pod",
        image="apache/airflow:2.7.3",
        cmds=["pip", "install", "apache-airflow-providers-dbt-cloud", "&&", "python", "your_dbt_execution_script.py"],
        namespace="default",  # 替换为你的Airflow命名空间
        get_logs=True
    )

验证依赖是否安装成功 #

部署完成后，进入任意Airflow Worker或Scheduler Pod，检查依赖是否存在：

# 替换为你的Pod名称
kubectl exec -it airflow-worker-xxxxxx-xxxxx -- pip list | grep apache-airflow-providers-dbt-cloud

注意：确保安装的apache-airflow-providers-dbt-cloud版本与你的Airflow版本兼容，比如Airflow 2.5+对应provider的3.x系列版本。

内容的提问来源于stack exchange，提问作者MariN