如何无需完整Spark框架，仅嵌入spark-submit构建轻量Docker镜像？

要实现只嵌入spark-submit功能的小体积镜像，核心思路是只保留Spark客户端提交任务必需的文件，而非整个Spark归档包。以下是具体实现步骤：

核心原理 #

spark-submit本质是一个提交脚本，依赖Java环境、Spark核心配置文件，以及少量核心JAR包用于解析任务配置、与集群通信。不需要包含Spark集群的执行组件（如Worker节点相关文件）。

具体实现步骤 #

1. 选择轻量基础镜像 #

优先选用仅包含JRE的轻量镜像，避免完整JDK带来的体积冗余，比如：

• openjdk:11-jre-slim
• eclipse-temurin:11-jre-alpine（体积更小）

2. 提取Spark必需文件 #

从对应版本的Spark二进制包中，仅保留以下文件：

• bin/spark-submit：提交脚本
• conf/：配置文件目录（包含spark-defaults.conf、log4j.properties等）
• jars/目录下的核心依赖JAR：
  • Spark核心组件：spark-core、spark-sql、spark-catalyst相关JAR
  • Hadoop客户端依赖：hadoop-common、hadoop-client相关JAR
  • 基础工具依赖：jackson、log4j、slf4j相关JAR

3. 编写Dockerfile（多阶段构建优化） #

使用多阶段构建可以避免在最终镜像中留下下载的Spark归档包，进一步减小体积：

# 构建阶段：下载并解压Spark包
FROM alpine:latest as builder

RUN apk add --no-cache wget tar
# 替换为你需要的Spark版本下载地址
RUN wget https://archive.apache.org/dist/spark/spark-3.5.0/spark-3.5.0-bin-hadoop3.tgz && \
    tar xzf spark-3.5.0-bin-hadoop3.tgz && \
    rm spark-3.5.0-bin-hadoop3.tgz

# 最终镜像阶段：构建轻量提交客户端
FROM eclipse-temurin:11-jre-alpine

ENV SPARK_HOME=/opt/spark
ENV PATH=$SPARK_HOME/bin:$PATH

# 创建必要目录
RUN mkdir -p $SPARK_HOME/{bin,conf,jars}

# 从构建阶段复制必需文件
COPY --from=builder /spark-3.5.0-bin-hadoop3/bin/spark-submit $SPARK_HOME/bin/
COPY --from=builder /spark-3.5.0-bin-hadoop3/conf/ $SPARK_HOME/conf/

# 复制核心依赖JAR，通过通配符筛选减少体积
COPY --from=builder /spark-3.5.0-bin-hadoop3/jars/{spark-core,spark-sql,spark-catalyst,hadoop-common,hadoop-client,jackson*,log4j*,slf4j*}*.jar $SPARK_HOME/jars/

# 赋予脚本执行权限
RUN chmod +x $SPARK_HOME/bin/spark-submit

# 设置工作目录
WORKDIR /app

4. 验证镜像功能 #

构建镜像后，运行容器并执行以下命令验证：

docker run --rm [你的镜像名] spark-submit --version

如果能正常输出Spark版本信息，说明镜像构建成功。

额外优化建议 #

• 版本兼容：确保镜像中的Spark版本与Kubernetes集群上运行的Spark集群版本一致，避免提交失败。
• 动态拉取依赖：作业所需的非核心依赖，可通过spark-submit --packages参数在提交时动态拉取，无需打包进镜像。
• 精简JAR包：如果明确知道作业不需要某些组件（如Spark SQL），可以进一步剔除对应的JAR包，进一步压缩体积。

内容的提问来源于stack exchange，提问作者Thomas Decaux