PySpark Docker镜像构建失败：Python安装报错求解决方案

方法1：添加--break-system-packages参数跳过限制 #

在Dockerfile的pip安装命令后追加--break-system-packages，绕过PEP 668的系统环境管理限制（Docker镜像环境隔离，风险可控）：

RUN apt-get update && \
    apt install -y python3 python3-pip && \
    pip3 install --upgrade pip setuptools --break-system-packages && \
    rm -rf /root/.cache && rm -rf /var/cache/apt/* && rm -rf /var/lib/apt/lists/*

方法2：使用虚拟环境安装 #

完全避开系统级Python环境，创建独立虚拟环境进行依赖安装：

RUN apt-get update && \
    apt install -y python3 python3-venv python3-pip && \
    # 创建虚拟环境
    python3 -m venv /opt/spark-python-venv && \
    # 在虚拟环境内升级pip和setuptools
    /opt/spark-python-venv/bin/pip install --upgrade pip setuptools && \
    # 清理缓存减小镜像体积
    rm -rf /root/.cache && rm -rf /var/cache/apt/* && rm -rf /var/lib/apt/lists/*

# 设置环境变量，让Spark默认使用虚拟环境内的Python
ENV PATH="/opt/spark-python-venv/bin:$PATH"

方法3：升级到已修复的Spark版本 #

SPARK-49068已在Spark 3.5.0及后续版本中修复，直接使用对应版本的docker-image-tool.sh构建镜像即可，无需手动修改Dockerfile：

./bin/docker-image-tool.sh -r <repo> -t my_spark-3.5.0 build

方法4：切换低版本基础镜像 #

使用未启用PEP 668限制的操作系统镜像（如Debian 11 bullseye、Ubuntu 22.04 jammy），修改Dockerfile的基础镜像声明：

# 替换原基础镜像为debian:bullseye
FROM debian:bullseye

内容的提问来源于stack exchange，提问作者user24900734