如何扩展Bitnami Spark Docker镜像以适配Java17与Scala2.13

要满足应用Jar包对Java17和Scala2.13（Spark3.3.1对应版本）的要求，需自定义构建适配的Docker镜像，并修改Helm配置指向该镜像，具体步骤如下：

一、自定义构建符合要求的Docker镜像 #

基于Bitnami的minideb基础镜像，调整Java、Scala版本及Spark的Scala适配包：

1. 创建自定义Dockerfile

FROM bitnami/minideb:bullseye

# 定义版本参数
ENV SPARK_VERSION=3.3.1
ENV SCALA_VERSION=2.13.8
ENV JAVA_VERSION=17

# 安装Java 17
RUN install_packages openjdk-${JAVA_VERSION}-jdk

# 下载并解压Spark 3.3.1的Scala2.13版本包
RUN curl -L "https://archive.apache.org/dist/spark/spark-${SPARK_VERSION}/spark-${SPARK_VERSION}-bin-scala2.13.tgz" | tar -xz -C /opt/bitnami
RUN ln -s /opt/bitnami/spark-${SPARK_VERSION}-bin-scala2.13 /opt/bitnami/spark

# 下载并安装Scala 2.13
RUN curl -L "https://downloads.lightbend.com/scala/${SCALA_VERSION}/scala-${SCALA_VERSION}.tgz" | tar -xz -C /opt/bitnami
RUN ln -s /opt/bitnami/scala-${SCALA_VERSION} /opt/bitnami/scala

# 设置环境变量
ENV PATH=/opt/bitnami/spark/bin:/opt/bitnami/scala/bin:$PATH
ENV SPARK_HOME=/opt/bitnami/spark
ENV SCALA_HOME=/opt/bitnami/scala

2. 构建并推送镜像
   将镜像推送到你的私有仓库或Docker Hub：

# 构建镜像
docker build -t your-registry/bitnami-spark:3.3.1-scala2.13-java17 .

# 推送到仓库
docker push your-registry/bitnami-spark:3.3.1-scala2.13-java17

二、修改Helm Chart配置使用自定义镜像 #

有两种方式让Helm Chart接入自定义镜像：

方式1：安装时直接指定参数 #

helm install spark bitnami/spark \
  --set image.repository=your-registry/bitnami-spark \
  --set image.tag=3.3.1-scala2.13-java17 \
  --set image.pullPolicy=IfNotPresent

方式2：通过values.yaml覆盖配置 #

创建custom-values.yaml文件：

image:
  repository: your-registry/bitnami-spark
  tag: 3.3.1-scala2.13-java17
  pullPolicy: IfNotPresent

使用该文件完成安装：

helm install spark bitnami/spark -f custom-values.yaml

三、验证镜像配置 #

部署完成后，进入任意Spark Worker或Master Pod验证版本：

# 检查Spark版本（确认Scala2.13标识）
kubectl exec -it spark-worker-0 -- spark-submit --version

# 检查Scala版本
kubectl exec -it spark-worker-0 -- scala -version

# 检查Java版本
kubectl exec -it spark-worker-0 -- java -version

内容的提问来源于stack exchange，提问作者adesai