Spark Standalone集群模式Executor Jar包部署疑问

我之前也碰到过类似的坑，结合官方文档和实际排查经验，给你几个可行的解决方向：

一、检查--jars参数的使用规范 #

首先确认你的--jars参数格式是否完全符合要求：

• 确保Jar包路径是绝对路径，如果是本地文件，必须加上file://前缀（比如file:///home/user/libs/xxx.jar），否则Spark可能会误把它当成HDFS或其他分布式存储路径解析，导致Executor找不到文件。
• 多个Jar包之间用英文逗号直接分隔，不要加空格，正确写法是--jars file:///a.jar,file:///b.jar，而非--jars file:///a.jar , file:///b.jar。
• 绝对不要使用相对路径，哪怕你在提交机器的当前目录能找到Jar包，Executor节点的工作目录和你提交的目录完全不同，相对路径必然失效。

二、确认Spark集群的文件传输配置 #

Spark Standalone默认依赖文件系统共享或自动传输机制，但如果集群节点没有共享存储（比如NFS），可以检查以下配置：

• 优先用--deploy-mode client提交（默认就是client模式），如果用cluster模式，Driver会在Worker节点启动，此时你提交机器上的Jar包路径对Worker节点来说是不可达的，需要把Jar包放到所有Worker都能访问的路径，或者调整--jars的路径指向。
• 检查spark.worker.cleanup.enabled是否被开启，若开启，Worker节点可能会提前清理临时传输的Jar包，导致Executor启动时找不到。可以临时添加配置测试：--conf spark.worker.cleanup.enabled=false。

三、手动分发Jar包到所有Executor节点 #

如果自动传输机制始终不生效，还有个稳妥的兜底方案：

• 把所有依赖Jar包（包括应用主Jar）复制到所有Worker节点的同一个绝对路径下，比如/opt/spark/shared-libs/。
• 提交应用时，用--jars指定这个路径（同样加file://前缀），或者在spark-defaults.conf里配置spark.driver.extraClassPath和spark.executor.extraClassPath指向该目录下的Jar包（用通配符的话要写成file:///opt/spark/shared-libs/*）。

四、通过日志定位具体问题 #

如果以上方法都没解决，去Worker节点的日志目录（默认是SPARK_HOME/work/下对应应用的子目录）查看Executor的启动日志，日志里会明确提示找不到哪个Jar包，或者路径解析错误的具体信息，根据日志再针对性调整。

给你一个正确的提交命令示例参考：

spark-submit \
  --class com.your.package.YourMainClass \
  --master spark://master:7077 \
  --jars file:///home/user/deps/a.jar,file:///home/user/deps/b.jar \
  --conf spark.worker.cleanup.enabled=false \
  /home/user/app/your-app.jar

内容的提问来源于stack exchange，提问作者salvob