Airflow2.2.0启动提示PythonVirtualenvOperator需virtualenv但已安装如何解决

根因说明 #

该报错存在两类常见触发原因：

• 你安装virtualenv的Python环境，与Airflow运行时依赖的Python环境不匹配，Airflow进程无法在自身运行环境中找到virtualenv依赖
• 报错由Airflow默认加载的官方示例DAG触发，示例中的PythonVirtualenvOperator初始化时校验virtualenv失败

解决方案 #

方案1：对齐virtualenv的安装环境 #

1. 执行which airflow获取Airflow执行文件的绝对路径，例如返回路径为/usr/local/python3/bin/airflow，则Airflow依赖的Python环境就位于/usr/local/python3/目录下
2. 使用对应环境的pip重新安装virtualenv：

/usr/local/python3/bin/pip install --upgrade virtualenv

3. 验证安装有效性：

/usr/local/python3/bin/python -c "import virtualenv; print('安装正常，版本为：', virtualenv.__version__)"

如果正常输出版本号，重启Airflow服务即可解决报错。

方案2：禁用示例DAG（无需使用示例时推荐） #

1. 打开Airflow配置文件，默认路径为~/airflow/airflow.cfg
2. 找到load_examples配置项，将默认值True修改为False
3. 重启airflow standalone服务即可，关闭示例加载后不会再加载触发报错的example_python_operator.py文件，报错会自动消失。

方案3：手动指定virtualenv路径（需要使用PythonVirtualenvOperator时适用） #

如果你的业务DAG需要用到PythonVirtualenvOperator，可以在定义算子时直接指定virtualenv的绝对路径，绕过环境校验：

from airflow.operators.python import PythonVirtualenvOperator

test_task = PythonVirtualenvOperator(
    task_id="virtualenv_test",
    python_callable=your_business_func,
    requirements=["your_required_package"],
    # 此处替换为你实际的virtualenv可执行文件绝对路径
    virtualenv_path="/usr/local/python3/bin/virtualenv",
    dag=your_dag
)

内容的提问来源于stack exchange，提问作者aden_lin