在spark-shell本地环境从S3加载RDD遇错，寻求解决方案

你的核心问题是Spark与Hadoop组件版本不匹配导致的类加载冲突和缺失错误——Spark 2.3.0默认绑定的是Hadoop 2.7.x，直接使用Hadoop 3.1.0的hadoop-aws jar必然会出现API不兼容、类路径冲突的问题。下面是具体的解决方案：

一、选择匹配版本的依赖Jar #

你需要使用与Spark绑定的Hadoop版本对应的hadoop-aws及配套AWS SDK Jar：

• 对应Spark 2.3.0（Hadoop 2.7.x）的正确Jar组合是：
  • hadoop-aws-2.7.7.jar（和Spark 2.3.0默认的Hadoop版本一致）
  • aws-java-sdk-core-1.7.4.jar
  • aws-java-sdk-s3-1.7.4.jar
    这些Jar的版本是严格匹配的，Hadoop 2.7.x系列依赖的是AWS SDK 1.7.x版本，不能用更高版本的SDK。

二、正确加载Jar的方式 #

不要在spark-shell里用:require临时加载Jar，这种方式容易引发类路径冲突（就是你遇到的Partition.class位置不匹配的错误），推荐两种可靠的加载方式：

方式1：将Jar放到Spark的Jars目录 #

把下载好的三个Jar直接复制到Spark安装目录的jars文件夹下，然后重启spark-shell，Spark会自动加载这些依赖。

方式2：启动spark-shell时指定Jar #

在命令行启动spark-shell时，用--jars参数指定依赖Jar的路径（多个Jar用逗号分隔）：

spark-shell --jars /path/to/hadoop-aws-2.7.7.jar,/path/to/aws-java-sdk-core-1.7.4.jar,/path/to/aws-java-sdk-s3-1.7.4.jar

三、验证代码 #

Jar加载正确后，你的原代码就可以正常执行了：

val inFile = "s3a://some/path"
val accessKey = "some-access-key"
val secretKey = "some-secret-key"

// 设置S3A配置
sc.hadoopConfiguration.set("fs.s3a.access.key", accessKey)
sc.hadoopConfiguration.set("fs.s3a.secret.key", secretKey)

// 加载并计数
val count = sc.textFile(inFile).count()
println(count)

为什么之前的方案会失败？ #

1. Hadoop 3.1.0与Spark 2.3.0不兼容：Spark 2.3.0的核心依赖Hadoop 2.7的API，Hadoop 3.x对FileSystem API做了大量修改（比如新增了StreamCapabilities接口），Spark 2.3.0的类路径中没有这个类，所以会抛出NoClassDefFoundError。
2. :require引发类路径冲突：spark-shell的类加载器已经加载了Spark核心Jar中的Partition类，临时加载Hadoop 3.x的Jar时，可能引入了同名但不同版本的类，导致类加载器报错。

内容的提问来源于stack exchange，提问作者Will Beason