如何让挂载到Airflow Docker的Python虚拟环境在external_python_task中生效？

问题根源 #

1. Airflow的Worker/Scheduler进程默认使用容器自带的Python环境，不会自动激活你挂载的venv2虚拟环境
2. 挂载的venv2中未安装与容器版本匹配的Airflow 2.4.1，导致无法获取Airflow上下文，同时缺失pandas等依赖包

解决方案 #

1. 给挂载的虚拟环境安装Airflow及依赖 #

进入Airflow Worker/Scheduler容器，激活虚拟环境后安装对应版本的Airflow和所需依赖：

# 进入目标容器（替换为你的容器名称，比如airflow-worker）
docker exec -it airflow-worker /bin/bash

# 激活挂载的虚拟环境（替换为容器内venv2的实际路径）
source /path/to/venv2/bin/activate

# 安装与容器版本一致的Airflow
pip install apache-airflow==2.4.1

# 安装业务依赖，比如pandas
pip install pandas

2. 配置Airflow使用虚拟环境的Python解释器 #

方式一：全局配置（所有DAG统一使用venv2）

修改docker-compose.yml中Airflow Worker和Scheduler的环境变量，指定虚拟环境的Python路径：

services:
  airflow-worker:
    environment:
      # 保留原有环境变量，新增以下配置
      - AIRFLOW__CORE__PYTHON_BINARY=/path/to/venv2/bin/python
  airflow-scheduler:
    environment:
      - AIRFLOW__CORE__PYTHON_BINARY=/path/to/venv2/bin/python

修改后重启相关容器：

docker-compose restart airflow-worker airflow-scheduler

方式二：单个DAG独立指定（更灵活）

使用PythonVirtualenvOperator直接指定虚拟环境或依赖，无需全局修改：

from airflow import DAG
from airflow.operators.python import PythonVirtualenvOperator
from datetime import datetime

def test_pandas_task():
    import pandas as pd
    test_df = pd.DataFrame({"data": [1, 2, 3]})
    print("测试DataFrame:\n", test_df)

with DAG(
    dag_id="test_venv_dag",
    start_date=datetime(2023, 1, 1),
    schedule_interval=None,
    catchup=False,
) as dag:
    run_test = PythonVirtualenvOperator(
        task_id="run_pandas_test",
        python_callable=test_pandas_task,
        # 复用已挂载的虚拟环境
        virtualenv_dir="/path/to/venv2",
        # 如需新增依赖，可通过requirements指定
        # requirements=["pandas==2.0.0"],
    )

3. 验证结果 #

运行测试DAG后查看日志：

• 确认日志中Python解释器路径为/path/to/venv2/bin/python
• 检查是否不再出现ModuleNotFoundError或Airflow上下文相关错误

内容的提问来源于stack exchange，提问作者sogu