使用apache/spark-py Docker镜像安装依赖遇权限拒绝问题求助

问题原因 #

apache/spark-py:v3.3.1镜像默认以spark用户运行，该用户的HOME目录为/，而/.local目录属于root用户，spark无写入权限。使用--user参数时，pip默认会将包安装到$HOME/.local，因此触发权限拒绝错误。

解决方案 #

1. 手动创建可写用户目录后安装 #

先创建spark用户有权限的本地目录，再执行pip安装：

mkdir -p ~/.local && python3 -m pip install --upgrade pip setuptools wheel --user

也可以通过环境变量指定自定义的用户安装路径（比如spark工作目录/opt/spark下的子目录）：

export PYTHONUSERBASE=/opt/spark/.local
python3 -m pip install --upgrade pip setuptools wheel --user

安装完成后，需将该路径加入PYTHONPATH让PySpark识别依赖：

export PYTHONPATH=$PYTHONUSERBASE/lib/python3.9/site-packages:$PYTHONPATH

（注：Python版本需匹配镜像实际版本，v3.3.1镜像使用Python 3.9）

2. 以root用户运行容器（CI场景临时使用） #

在GitLab CI中运行容器时，指定--user root参数，以root权限执行安装：

docker run -it --user root apache/spark-py:v3.3.1 sh

进入容器后无需--user参数即可正常安装：

python3 -m pip install --upgrade pip setuptools wheel

此方式适合CI这类临时环境，无需修改镜像即可快速解决权限问题。

3. GitLab CI配置示例 #

参考以下job配置实现集成：

pyspark-tests:
  image: apache/spark-py:v3.3.1
  script:
    - mkdir -p ~/.local
    - python3 -m pip install --upgrade pip setuptools wheel --user
    - export PYTHONPATH=~/.local/lib/python3.9/site-packages:$PYTHONPATH
    # 执行你的PySpark测试命令
    - python your_test_script.py

内容的提问来源于stack exchange，提问作者Mark J Miller