如何不运行Spark即可完成依赖解析与下载，用于Docker镜像打包

可行实现方案 #

有两种成熟方案可以在不实际运行业务Spark作业的前提下完成依赖预下载，内置到Docker镜像中：

方案1：Spark官方原生仅下载依赖配置（适配Spark 2.3及以上版本） #

Spark原生支持仅下载依赖不运行作业的配置，直接修改Dockerfile的RUN指令即可：

FROM spark:3.1.2

COPY ./app /opt/app

# 预下载依赖，不实际运行Spark作业
RUN cd /opt/app && \
    spark-submit \
    --packages XXX:XXX:XXX \
    --conf spark.driver.downloadDependenciesOnly=true \
    --class dummy /dev/null

PORT 4040

CMD ["/opt/app/bin/run"]

• spark.driver.downloadDependenciesOnly=true参数会让Spark仅完成依赖解析、下载到本地缓存的流程，直接跳过作业执行阶段
• 结尾的--class dummy /dev/null是占位参数，避免spark-submit因缺少作业包、主类参数报错
• 所有依赖默认下载到/root/.ivy2/jars目录，Spark运行时会自动优先从该目录加载依赖，无需再次线上拉取

方案2：低版本Spark兼容方案 #

如果使用的Spark版本不支持上述配置，可以用spark-shell执行一句空代码完成依赖下载，仅启动最小Driver环境，执行完成后立即退出，不会运行业务逻辑：

FROM spark:3.1.2

COPY ./app /opt/app

# 预下载依赖，执行完打印语句后直接退出
RUN cd /opt/app && \
    spark-shell \
    --packages XXX:XXX:XXX \
    -e "println('Dependencies pre-download complete')"

PORT 4040

CMD ["/opt/app/bin/run"]

该方法兼容性极强，支持几乎所有Spark 2.x、3.x版本，整个下载流程仅需几秒，不会产生多余的资源开销。

可选优化 #

如果需要统一管理依赖，可以额外添加配置--conf spark.jars.ivyDir=/opt/spark/preload-jars将依赖下载到指定目录，后续维护时可以直接查看所有内置的依赖包。

内容的提问来源于stack exchange，提问作者Thomas Decaux