PySpark无法写入S3求助：NoClassDefFoundError异常排查

问题分析 #

你遇到的java.lang.NoClassDefFoundError: com/amazonaws/AmazonClientException错误，核心原因是Spark运行时未正确加载到包含该类的aws-java-sdk-bundle包。结合你的操作配置，问题出在jar包的重复指定和路径解析上：

• 你已将所需jar包放置在$SPARK_HOME/jars目录下，Spark会自动扫描加载该目录下的所有jar，无需再通过spark.jars参数手动指定；
• 你在spark.jars中使用的相对路径jars/xxx.jar，Spark运行时的工作目录不一定是$SPARK_HOME，会导致无法找到指定jar包。

解决方案 #

1. 移除SparkSession中的spark.jars配置 #

修改SparkSession创建代码，删除手动指定jar包的配置项，让Spark自动加载$SPARK_HOME/jars下的jar：

spark = (
  SparkSession
  .builder
  .appName('someApp')
  .getOrCreate()
)

2. 验证jar包完整性与权限 #

执行以下命令，确认aws-java-sdk-bundle-1.11.375.jar中确实包含AmazonClientException类：

jar tf $SPARK_HOME/jars/aws-java-sdk-bundle-1.11.375.jar | grep com/amazonaws/AmazonClientException.class

如果输出类的路径，说明jar包正常；若没有输出，重新下载对应版本的jar包。同时确保jar包有可读权限：

chmod +r $SPARK_HOME/jars/aws-java-sdk-bundle-1.11.375.jar

3. （可选）添加S3身份认证配置 #

若后续仍出现权限相关错误，可在SparkSession中添加AWS密钥配置（或通过环境变量设置）：

spark = (
  SparkSession
  .builder
  .appName('someApp')
  .config("spark.hadoop.fs.s3a.access.key", "你的AWS访问密钥")
  .config("spark.hadoop.fs.s3a.secret.key", "你的AWS秘密密钥")
  .getOrCreate()
)

验证 #

重新运行你的DataFrame写入S3代码，即可正常完成parquet文件的写入操作。

内容的提问来源于stack exchange，提问作者Ken Myers