独立模式下为Spark类路径添加依赖JAR包

针对你遇到的问题，我整理了几种可靠的方法来解决Spark提交时的依赖引入问题，你可以根据自己的场景选择：

方法一：在spark-submit命令中直接指定依赖（最推荐的快速验证方式） #

有时候配置文件的改动可能没有生效，或者路径解析有问题，直接在命令行指定依赖是最直接的方式：

• 使用--jars参数，将所有依赖JAR的路径用逗号分隔传入。如果依赖数量多，可以用shell命令自动生成逗号分隔的列表：

spark-submit --class com.cerner.doc.DocumentExtractor \
  --jars $(echo /Users/sp054800/Downloads/Docs_lib_jar/lib/*.jar | tr ' ' ',') \
  /Users/sp054800/Downloads/Docs_lib_jar/Docs_RestAPI.jar

这里$(echo ... | tr ' ' ',')的作用是把空格分隔的JAR路径转换成Spark要求的逗号分隔格式。

• 也可以直接在命令行覆盖配置文件的参数，确保依赖路径生效：

spark-submit --class com.cerner.doc.DocumentExtractor \
  --conf spark.driver.extraClassPath=/Users/sp054800/Downloads/Docs_lib_jar/lib/* \
  --conf spark.executor.extraClassPath=/Users/sp054800/Downloads/Docs_lib_jar/lib/* \
  /Users/sp054800/Downloads/Docs_lib_jar/Docs_RestAPI.jar

方法二：验证spark-defaults.conf的配置是否生效 #

如果坚持用配置文件的方式，先确认配置是否被Spark正确读取：

1. 执行以下命令查看当前Spark的driver classpath配置：

spark-submit --conf 'spark.driver.extraClassPath' --help

或者提交一个简单的任务打印配置：

spark-submit --class org.apache.spark.examples.SparkPi --master local[*] $SPARK_HOME/examples/jars/spark-examples_2.11-2.2.0.jar 1 2>&1 | grep "spark.driver.extraClassPath"

2. 确保配置文件的路径正确：Spark默认读取$SPARK_HOME/conf/spark-defaults.conf，如果你的配置文件在其他路径，需要通过--conf-file参数指定：

spark-submit --conf-file /path/to/your/spark-defaults.conf --class com.cerner.doc.DocumentExtractor /Users/sp054800/Downloads/Docs_lib_jar/Docs_RestAPI.jar

3. 注意配置中的路径是否加了引号：如果路径包含空格，必须用引号包裹，比如：

spark.driver.extraClassPath "/Users/sp054800/Downloads/Docs_lib_jar/lib/*"

方法三：将依赖打包到主JAR中（一劳永逸） #

如果你的项目使用Maven或Gradle构建，可以通过插件将所有依赖打包到主JAR里，这样提交时不需要额外指定依赖：

• Maven：使用maven-shade-plugin，在pom.xml中添加配置，执行mvn package后会生成包含所有依赖的胖JAR。
• Gradle：使用shadow插件，配置shadowJar任务，执行gradle shadowJar生成胖JAR。
  这种方式适合依赖固定的场景，避免每次提交都要处理路径问题。

方法四：将本地JAR安装到本地Maven仓库（适合依赖管理） #

如果你的依赖JAR是自定义的，可以安装到本地Maven仓库，然后在spark-submit中用--packages参数引入：

1. 安装本地JAR到Maven仓库：

mvn install:install-file -Dfile=/Users/sp054800/Downloads/Docs_lib_jar/lib/your-dependency.jar -DgroupId=com.your.group -DartifactId=your-dependency -Dversion=1.0 -Dpackaging=jar

2. 提交时指定packages：

spark-submit --class com.cerner.doc.DocumentExtractor --packages com.your.group:your-dependency:1.0 /Users/sp054800/Downloads/Docs_lib_jar/Docs_RestAPI.jar

额外注意事项 #

• 如果是本地模式运行Spark（--master local[*]），executor和driver是同一个进程，只需要配置spark.driver.extraClassPath即可，spark.executor.extraClassPath不会生效。
• 确保所有JAR文件都有可读权限，Spark进程需要能访问这些文件。
• 避免路径中包含特殊字符或空格，否则容易出现解析错误。

内容的提问来源于stack exchange，提问作者Sneha