Docker Airflow中ExternalPythonOperator指定虚拟环境失败求助

核心误区纠正 #

@task.external_python 参数要求传入的是虚拟环境中Python可执行文件的绝对路径，不是activate脚本、bin目录或虚拟环境根目录，这是你之前路径指定错误的关键原因。

分步解决方案 #

1. 指定正确的Python路径
   你的虚拟环境对应的Python可执行文件路径是：/opt/airflow/venv1/bin/python，这才是@task.external_python需要的参数值。

2. 修复权限问题

   • 如果创建虚拟环境时用了root用户，导致airflow进程无权限访问，执行以下命令修正权限：

     sudo chown -R airflow:airflow /opt/airflow/venv1
     

   • 后续创建虚拟环境建议直接用airflow用户执行，避免权限隐患：

     su - airflow -c "python3 -m venv /opt/airflow/venv1"
     su - airflow -c "/opt/airflow/venv1/bin/pip install pandas numpy"
     

3. 正确的任务代码示例

   from airflow.decorators import dag, task
   from datetime import datetime
   
   @dag(start_date=datetime(2023, 1, 1), schedule_interval=None)
   def test_external_venv():
       @task.external_python(python="/opt/airflow/venv1/bin/python")
       def use_pandas_numpy():
           import pandas as pd
           import numpy as np
           df = pd.DataFrame(np.random.rand(3, 3))
           print(df)
           return "Success"
   
       use_pandas_numpy()
   
   test_external_venv_dag = test_external_venv()
   

4. 验证依赖与环境

   • 手动验证虚拟环境中的依赖是否安装成功：

     /opt/airflow/venv1/bin/pip list | grep -E "pandas|numpy"
     

   • 如果是基于Airflow镜像扩展构建Docker镜像，确保Dockerfile中以airflow用户身份创建虚拟环境：

     FROM apache/airflow:2.4.1-python3.8
     USER airflow
     RUN python -m venv /opt/airflow/venv1
     RUN /opt/airflow/venv1/bin/pip install pandas numpy
     

内容的提问来源于stack exchange，提问作者sogu