Docker部署Airflow中多Python虚拟环境执行DAG的方案咨询

针对你在Docker环境下Airflow多虚拟环境执行DAG的需求，以下是两种实用且可落地的方案，同时会分析你之前操作失败的原因：

方案一：使用Airflow官方VirtualenvOperator（推荐） #

这是Airflow官方支持的隔离任务环境的方式，无需预先构建环境，任务执行时自动创建临时虚拟环境，适合依赖差异大、执行频率不极高的DAG。

操作步骤 #

1. 在DAG代码中导入并配置VirtualenvOperator，指定依赖包、Python版本和执行函数：

from airflow import DAG
from airflow.operators.python import VirtualenvOperator
from datetime import datetime

# 需要在隔离环境中执行的任务逻辑
def specific_env_task():
    import pandas as pd
    import requests
    print(f"Pandas版本: {pd.__version__}")
    print(f"Requests版本: {requests.__version__}")

with DAG(
    dag_id='isolated_venv_dag',
    start_date=datetime(2024, 5, 1),
    schedule_interval=None,
    catchup=False
) as dag:
    run_in_venv = VirtualenvOperator(
        task_id='run_specific_env_task',
        python_callable=specific_env_task,
        # 指定需要的依赖包，格式同requirements.txt
        requirements=['pandas==2.2.0', 'requests==2.32.0'],
        # 指定任务使用的Python版本（需确保Airflow容器已安装对应版本）
        python_version='3.10',
        # 禁止继承全局站点包，保证环境完全隔离
        system_site_packages=False,
        # 可选：缓存依赖包，避免每次任务都重新下载
        cache_dir='/opt/airflow/venv_cache'
    )

2. 前置要求：如果指定了非Airflow默认的Python版本，需要在Airflow容器中预先安装对应版本（可通过自定义Docker镜像或进入容器执行apt-get install python3.10 python3.10-venv）。

方案二：预构建多虚拟环境的自定义Airflow镜像 #

如果任务执行频率高，每次创建虚拟环境耗时，可预先在自定义镜像中构建好所有需要的虚拟环境，适合长期稳定运行的DAG。

操作步骤 #

1. 编写自定义Dockerfile，基于官方Airflow镜像构建：

# 基于Airflow官方镜像
FROM apache/airflow:2.8.2

USER root
# 安装所需的多个Python版本和虚拟环境工具
RUN apt-get update && apt-get install -y --no-install-recommends \
    python3.9 python3.9-venv \
    python3.11 python3.11-venv \
    && rm -rf /var/lib/apt/lists/*

USER airflow
# 构建第一个虚拟环境：Python3.9 + Pandas2.1.x
RUN python3.9 -m venv /opt/airflow/venvs/venv_py39_pandas21
RUN /opt/airflow/venvs/venv_py39_pandas21/bin/pip install --upgrade pip
RUN /opt/airflow/venvs/venv_py39_pandas21/bin/pip install pandas==2.1.4

# 构建第二个虚拟环境：Python3.11 + Requests2.31.x
RUN python3.11 -m venv /opt/airflow/venvs/venv_py311_requests
RUN /opt/airflow/venvs/venv_py311_requests/bin/pip install --upgrade pip
RUN /opt/airflow/venvs/venv_py311_requests/bin/pip install requests==2.31.0

2. 构建自定义镜像并更新Docker Compose配置：

# 构建镜像
docker build -t custom-airflow:v1 .
# 修改docker-compose.yml中Airflow服务的image字段为custom-airflow:v1

3. 在DAG中指定预构建的虚拟环境执行任务：

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

def py39_task():
    import pandas as pd
    print(f"使用Python3.9环境，Pandas版本: {pd.__version__}")

with DAG(
    dag_id='prebuilt_venv_dag',
    start_date=datetime(2024, 5, 1),
    schedule_interval=None,
    catchup=False
) as dag:
    run_py39_task = PythonOperator(
        task_id='run_py39_pandas_task',
        python_callable=py39_task,
        # 指定预构建虚拟环境的Python路径
        python_executable='/opt/airflow/venvs/venv_py39_pandas21/bin/python'
    )

你之前操作失败的原因分析 #

1. 容器临时层问题：直接在运行的Airflow容器内创建虚拟环境，所有修改都存储在容器的临时可写层中，容器重启后环境会完全丢失，无法长期使用。
2. 虚拟环境激活不生效：即使修改了pyvenv.cfg，如果shell配置有问题（比如非交互式shell），source激活环境可能未真正生效，导致你执行pip install时仍使用全局pip，而非虚拟环境内的pip（正确的做法应直接使用env_name/bin/pip install，无需依赖激活命令）。

内容的提问来源于stack exchange，提问作者user1573820