如何使用AWS S3中的JAR依赖运行Apache Spark应用？

问题描述 #

我有一个存放在AWS S3桶的应用工具类Jar，希望无需本地下载，直接通过spark-submit或pyspark的--jars选项作为Spark依赖使用。使用适配Hadoop 3.3+的Spark 3.3.1，已正确配置AWS密钥（不带--jars时能正常读取同桶内文件），但执行以下命令时出现ClassNotFoundException错误：

spark-shell --packages com.amazonaws:aws-java-sdk:1.12.336,org.apache.hadoop:hadoop-aws:3.3.4 --jars s3a://bucket/path/to/jar/file.jar

错误栈核心信息：

Exception in thread "main" java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.s3a.S3AFileSystem not found

错误原因 #

Spark在启动阶段解析--jars参数中的S3路径时，会提前尝试加载Hadoop的S3A文件系统类，但此时通过--packages引入的hadoop-aws依赖还未被加载，导致类找不到——本质是依赖加载顺序不匹配：解析S3路径所需的类，在--packages依赖下载生效前就被调用了。

可行解决方案 #

方案1：将hadoop-aws依赖提前放入Spark类路径 #

把hadoop-aws-3.3.4.jar和对应的aws-java-sdk-bundle-1.12.336.jar（推荐用bundle包，避免依赖缺失）复制到Spark安装目录的jars文件夹下。这样Spark启动时就能直接加载S3A相关类，无需等待--packages下载。

方案2：通过--conf指定文件系统实现，调整依赖参数 #

修改命令，添加Hadoop文件系统的配置参数，并替换单独的aws-java-sdk为aws-java-sdk-bundle（包含所有必要组件）：

spark-shell \
  --packages org.apache.hadoop:hadoop-aws:3.3.4,com.amazonaws:aws-java-sdk-bundle:1.12.336 \
  --conf spark.hadoop.fs.s3a.impl=org.apache.hadoop.fs.s3a.S3AFileSystem \
  --jars s3a://bucket/path/to/jar/file.jar

此方案通过--conf提前告知Hadoop使用S3A文件系统，同时确保hadoop-aws和bundle包的加载优先级满足启动阶段的需求。

方案3：显式指定驱动类路径 #

利用--driver-class-path参数，提前将hadoop-aws和bundle包的路径加入驱动类路径（需确保本地已通过--packages下载过这些依赖）：

spark-shell \
  --packages org.apache.hadoop:hadoop-aws:3.3.4,com.amazonaws:aws-java-sdk-bundle:1.12.336 \
  --driver-class-path "$HOME/.ivy2/cache/org.apache.hadoop/hadoop-aws/jars/hadoop-aws-3.3.4.jar:$HOME/.ivy2/cache/com.amazonaws/aws-java-sdk-bundle/jars/aws-java-sdk-bundle-1.12.336.jar" \
  --jars s3a://bucket/path/to/jar/file.jar

方案4：将自定义Jar发布到Maven仓库 #

如果有条件，把自己的工具类Jar发布到私有或公有Maven仓库，然后通过--packages直接引用，Spark会自动处理依赖加载顺序，无需手动使用--jars：

spark-shell --packages com.your-org:your-utils:1.0.0,org.apache.hadoop:hadoop-aws:3.3.4,com.amazonaws:aws-java-sdk-bundle:1.12.336

关键注意事项 #

• 确保hadoop-aws版本与Spark预构建的Hadoop版本完全匹配（此处为3.3.4，对应Spark 3.3.1）
• 禁止单独使用aws-java-sdk，必须用aws-java-sdk-bundle，否则会出现依赖缺失或冲突
• 引用S3上的Jar时，必须保证Spark启动阶段就能访问S3，即S3A相关类必须在启动时就可用

内容的提问来源于stack exchange，提问作者PiFace