K8s部署的Airflow2.2.0中PythonVirtualOperator无法安装pip包如何解决

核心错误来自日志中ERROR: Can not perform a '--user' install. User site-packages are not visible in this virtualenv.，触发原因如下：

• 你的Airflow Worker节点的pip全局配置（pip.conf）或环境变量中默认开启了user=true，所有pip操作默认会自动添加--user参数，将包安装到当前用户的家目录下，而非系统包目录。
• PythonVirtualenvOperator创建独立虚拟环境时，默认会继承宿主机的pip全局配置。而你设置了system_site_packages=False，这种模式下的虚拟环境会禁用用户侧的site-packages目录，和--user安装参数直接冲突，导致pip安装失败。
• 这个问题和你排查过的网络代理配置无关，属于pip参数配置冲突。

按优先级从高到低可选以下方案：

方案1：直接在DAG中添加pip参数覆盖（无需改动集群配置，生效最快） #

给PythonVirtualenvOperator新增pip_install_flags参数，主动添加--no-user参数关闭默认的用户安装模式，修改后的代码如下：

virtualenv_task = PythonVirtualenvOperator(
    task_id="virtualenv_python",
    python_callable=callable_virtualenv,
    requirements=["numpy==1.21.4"],
    system_site_packages=False,
    # 新增以下参数
    pip_install_flags=["--no-user"],
)

方案2：修改Airflow Worker的全局pip配置 #

如果你希望所有PythonVirtualenvOperator都不需要额外加参数，可以在构建Airflow Worker镜像时，关闭pip默认的user安装配置：
执行命令echo -e "[global]\nuser = false" > /etc/pip.conf，或者将环境变量PIP_USER设置为0后重新打包镜像、更新集群部署即可。

方案3：同时配置内部PyPI源（适合有内部源的场景） #

如果集群有内部PyPI源，也可以直接把源配置和--no-user一起放在pip_install_flags里，同时解决拉包速度和权限问题：

pip_install_flags=["--no-user", "-i", "https://替换为你的内部PyPI地址/simple", "--trusted-host", "替换为你的内部PyPI域名"]

内容的提问来源于stack exchange，提问作者Fahad Rana