如何通过Spark加载S3文件？依赖与权限问题求助

你遇到的问题核心在于s3a协议依赖版本不兼容，以及旧s3/s3n协议不支持IAM角色自动获取凭证，下面分步骤帮你解决：

1. 问题根源拆解 #

• s3a报错NoClassDefFoundError: org/apache/hadoop/fs/StorageStatistics：你手动指定的hadoop-aws-2.8.4.jar版本过旧，和pip安装的PySpark默认依赖的Hadoop版本不匹配——StorageStatistics是Hadoop 2.9+才引入的类，2.8.4版本中不存在这个类，导致依赖缺失报错。
• s3/s3n要求输入密钥：这两个是S3的旧协议实现，不支持自动从EC2实例的IAM角色获取凭证，必须手动配置密钥；而s3a是官方推荐的新版协议，原生支持IAM角色自动认证。

2. 具体解决方案 #

方案一：自动匹配依赖（推荐，无需手动管理jar包） #

通过Spark的spark.jars.packages参数自动拉取和你的PySpark版本兼容的Hadoop-AWS依赖，同时配置IAM角色凭证提供者，省去手动找jar包的麻烦：

from pyspark.sql import SparkSession

# 先运行`spark-submit --version`查看你的PySpark对应的Hadoop版本，替换下面的hadoop-aws版本
# 比如PySpark对应Hadoop 3.3.4，就用org.apache.hadoop:hadoop-aws:3.3.4
spark = SparkSession.builder \
    .appName("cluster") \
    .config("spark.jars.packages", "org.apache.hadoop:hadoop-aws:3.3.4,com.amazonaws:aws-java-sdk-bundle:1.12.262") \
    .config("spark.hadoop.fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem") \
    .config("spark.hadoop.fs.s3a.aws.credentials.provider", "com.amazonaws.auth.InstanceProfileCredentialsProvider") \
    .getOrCreate()

# 现在可以正常读取S3文件了
df = spark.read.load('s3a://bucket/path/to/file')

方案二：手动替换兼容的jar包（适合无法联网的环境） #

如果你的环境无法联网自动下载依赖，可以手动替换匹配版本的jar包：

• 第一步：运行spark-submit --version查看PySpark对应的Hadoop版本（比如Hadoop 3.3.4）。
• 第二步：下载对应版本的hadoop-aws.jar和aws-java-sdk-bundle.jar（版本必须和Hadoop匹配，比如Hadoop 3.3.4对应aws-java-sdk-bundle 1.12.262）。
• 第三步：替换你当前的jar包，修改SparkSession配置：

spark = SparkSession.builder \
    .config('spark.driver.extraClassPath', '/home/ubuntu/spark/jars/hadoop-aws-3.3.4.jar:/home/ubuntu/spark/jars/aws-java-sdk-bundle-1.12.262.jar') \
    .config("spark.hadoop.fs.s3a.aws.credentials.provider", "com.amazonaws.auth.InstanceProfileCredentialsProvider") \
    .appName("cluster").getOrCreate()

3. 额外验证点 #

• 确认你的EC2实例的IAM角色确实配置了AmazonS3FullAccess权限，且实例能正常访问EC2元数据服务（默认允许，若有防火墙需放行169.254.169.254的访问）。
• 尽量避免使用s3或s3n协议，官方早已将s3a作为S3访问的标准协议。

内容的提问来源于stack exchange，提问作者Harrison