如何在Airflow Docker的DAG目录中用Pipenv管理依赖（含GitHub包）

你在本地DAG目录创建的Pipenv环境属于宿主机，而Airflow Docker容器运行的是自身独立的Python环境，两者完全隔离，因此DAG脚本无法识别宿主机Pipenv里的包。以下是可行的实现方案和规范做法：

方案一：自定义Airflow镜像（生产环境首选） #

通过构建自定义镜像，将依赖直接安装到容器的Python环境中，确保Airflow能全局访问：

1. 在Airflow Docker根目录创建Dockerfile：

   FROM apache/airflow:2.8.0
   USER root
   # 安装git（拉取GitHub包需要）
   RUN apt-get update && apt-get install -y --no-install-recommends git && rm -rf /var/lib/apt/lists/*
   USER airflow
   # 复制Pipfile文件到容器内DAG目录
   COPY ./dags/Pipfile ./dags/Pipfile.lock /opt/airflow/dags/
   WORKDIR /opt/airflow/dags
   # 安装Pipenv并将依赖部署到系统Python环境
   RUN pip install pipenv && pipenv install --deploy --system
   

2. 在Pipfile中添加GitHub包：

   [packages]
   # 公开GitHub包
   my-github-package = {git = "https://github.com/username/repo.git", ref = "main"}
   # 私有GitHub包（需替换为个人访问令牌）
   private-github-package = {git = "https://<your-token>@github.com/username/private-repo.git", ref = "main"}
   

3. 重新构建镜像并启动容器：

   docker-compose build airflow-webserver airflow-scheduler
   docker-compose up -d
   

方案二：使用VirtualenvOperator（测试/临时场景） #

让单个任务在独立虚拟环境中运行，自动读取DAG目录的Pipfile依赖：

1. 在DAG脚本中配置VirtualenvOperator：

   from airflow.decorators import dag
   from airflow.operators.python import VirtualenvOperator
   from datetime import datetime
   
   def run_task_logic():
       # 这里可以导入Pipenv安装的包
       import my_local_package
       import my_github_package
       # 执行你的业务逻辑
   
   @dag(start_date=datetime(2024, 1, 1), schedule=None)
   def pipenv_demo_dag():
       virtualenv_task = VirtualenvOperator(
           task_id="run_with_pipenv",
           python_callable=run_task_logic,
           requirements="Pipfile",
           pipenv=True,
           system_site_packages=False,
           # 若容器未安装Pipenv，需先安装：pip install pipenv git
       )
   
   pipenv_demo_dag()
   

方案三：改用requirements.txt（轻量替代方案） #

如果不需要Pipenv的虚拟环境管理，直接用requirements.txt简化依赖安装：

1. 在DAG目录创建requirements.txt，包含GitHub包：

   requests==2.31.0
   # 公开GitHub包
   git+https://github.com/username/repo.git@main
   # 私有GitHub包
   git+https://<your-token>@github.com/username/private-repo.git@main
   

2. 修改docker-compose.yml，让容器启动时自动安装依赖：

   services:
     airflow-webserver:
       command: >
         bash -c "pip install -r /opt/airflow/dags/requirements.txt && airflow webserver"
     airflow-scheduler:
       command: >
         bash -c "pip install -r /opt/airflow/dags/requirements.txt && airflow scheduler"
   

关键注意事项 #

• 私有GitHub包需配置个人访问令牌（具有仓库读取权限），避免容器访问失败。
• 生产环境优先选择自定义镜像方案，避免每次容器启动重复安装依赖，提升稳定性和启动速度。
• 禁止将宿主机的虚拟环境挂载到容器中，系统架构、Python版本差异会导致兼容性问题。

内容的提问来源于stack exchange，提问作者Daniel