如何构建基于Spark 3.5.4等新版本的PySpark Docker镜像？

方法1：基于官方Spark基础镜像扩展 #

官方Apache Spark基础镜像（非PySpark专属）保持更新，可在此基础上添加Python环境和PySpark支持：

1. 创建Dockerfile文件，内容如下：

# 指定Spark版本为3.5.4的官方基础镜像
FROM apache/spark:3.5.4

# 切换至root用户安装依赖
USER root
RUN apt-get update && \
    apt-get install -y python3 python3-pip && \
    rm -rf /var/lib/apt/lists/*

# 设置PySpark使用的Python解释器
ENV PYSPARK_PYTHON=python3
ENV PYSPARK_DRIVER_PYTHON=python3

# 验证环境
RUN python3 --version && pip3 --version

2. 执行构建命令：

docker build -t custom-pyspark:3.5.4 .

方法2：从Spark源码直接构建 #

Spark源码仓库提供了Docker构建脚本，可直接生成包含PySpark的镜像：

1. 克隆指定版本的Spark源码：

git clone -b v3.5.4 https://github.com/apache/spark.git
cd spark

2. 使用官方脚本构建PySpark镜像（指定Python版本，示例为3.10）：

./dev/docker/build-image.sh -p 3.10

脚本会自动处理依赖，生成标签为apache/spark-py:3.5.4的镜像。

验证镜像 #

构建完成后，可通过以下命令确认PySpark版本：

docker run --rm custom-pyspark:3.5.4 pyspark --version

内容的提问来源于stack exchange，提问作者aakash bharti