Amazon MWAA使用PythonVirtualenvOperator自定义插件报错如何解决

该报错是因为Amazon MWAA的工作节点运行环境默认没有预装virtualenv工具，而PythonVirtualenvOperator执行时需要调用该命令创建独立虚拟环境。

方法1：添加依赖到requirements.txt（适用于所有MWAA 2.x版本） #

在你上传到MWAA关联S3存储桶的requirements.txt文件中添加对应版本的virtualenv依赖：

virtualenv==20.17.1

注：请根据你使用的Airflow版本选择兼容的virtualenv版本，避免依赖冲突。提交requirements更新后，等待MWAA环境完成更新（通常耗时10~30分钟）再重新运行DAG即可。

方法2：使用内置venv模块替代（适用于MWAA 1.x旧版本） #

如果使用的是已停止维护的MWAA 1.10.x版本，requirements安装的virtualenv可能无法正常识别，此时可以改用PythonOperator配合Python 3内置的venv模块手动实现虚拟环境逻辑，无需额外安装依赖：

from airflow.operators.python import PythonOperator
import subprocess
import sys

def run_with_custom_venv():
    # 创建临时虚拟环境
    subprocess.check_call([sys.executable, "-m", "venv", "temp_venv"])
    # 安装任务所需依赖
    subprocess.check_call(["./temp_venv/bin/pip", "install", "your-package==1.0.0"])
    # 执行目标逻辑
    subprocess.check_call(["./temp_venv/bin/python", "your_task_script.py"])

venv_task = PythonOperator(
    task_id="custom_venv_task",
    python_callable=run_with_custom_venv,
    dag=dag
)

注意事项 #

• 不要在DAG代码中硬编码virtualenv的可执行文件路径，MWAA会自动将requirements安装的可执行文件加入工作节点的系统PATH。
• 如果你使用自定义容器镜像部署MWAA，需要在Dockerfile构建阶段提前执行pip install virtualenv命令预装依赖。

内容的提问来源于stack exchange，提问作者Cristian Scutaru