如何基于jupyter/pyspark-notebook安装Spark 4.0预览版？

• 你当前的Dockerfile仅声明了spark_version和spark_download_url参数，但基础镜像已经预装了Spark 3.5，这些参数不会自动触发重新安装。需要在Dockerfile中添加执行Spark安装逻辑的命令，利用这些参数替换原有版本。
• 具体修改方案：
  1. 保留基础镜像和参数声明，添加清理原有Spark安装的命令
  2. 手动下载解压并配置Spark 4.0预览版

示例修改后的Dockerfile：

FROM quay.io/jupyter/pyspark-notebook
ARG spark_version=4.0.0-preview1
ARG spark_download_url="https://archive.apache.org/dist/spark/"

# 清理原有Spark安装
RUN rm -rf /usr/local/spark

# 手动下载并安装Spark 4.0预览版（适配Hadoop 3版本，可按需调整）
RUN spark_archive="spark-${spark_version}-bin-hadoop3.tgz" && \
    wget -q "${spark_download_url}/spark-${spark_version}/${spark_archive}" && \
    tar xzf "${spark_archive}" -C /usr/local/ && \
    ln -s "/usr/local/spark-${spark_version}-bin-hadoop3" /usr/local/spark && \
    rm "${spark_archive}"

# 更新环境变量确保系统识别新Spark版本
ENV SPARK_HOME=/usr/local/spark
ENV PATH="${SPARK_HOME}/bin:${PATH}"

• 关键说明：
  • 先删除基础镜像默认的Spark目录/usr/local/spark，避免版本冲突
  • 选择与基础镜像Hadoop版本匹配的Spark二进制包（示例用Hadoop 3适配版）
  • 通过软链接保持原有Spark路径的一致性，减少后续配置变更
  • 更新环境变量确保终端和Jupyter能正确调用新安装的Spark

内容的提问来源于stack exchange，提问作者Lymedo