PySpark读取S3中CSV/Parquet文件报NoClassDefFoundError错误的解决方法

问题背景 #

需求：使用PySpark将AWS S3中的CSV和Parquet文件加载到DataFrame。

运行代码 #

from pyspark import SparkConf, SparkContext
from pyspark.sql import SparkSession
conf = SparkConf()
appName = "S3"
master = "local"

conf.set('spark.executor.extraJavaOptions', '-Dcom.amazonaws.services.s3.enableV4=true')
conf.set('spark.driver.extraJavaOptions', '-Dcom.amazonaws.services.s3.enableV4=true')
sc = SparkContext.getOrCreate(conf=conf)
sc.setSystemProperty('com.amazonaws.services.s3.enableV4', 'true')

hadoopConf = sc._jsc.hadoopConfiguration()
hadoopConf.set('fs.s3a.access.key', aws_access_key_id)
hadoopConf.set('fs.s3a.secret.key', aws_secret_access_key)
hadoopConf.set('fs.s3a.impl', 'org.apache.hadoop.fs.s3a.S3AFileSystem')
spark = SparkSession(sc)

df = spark.read.csv('s3://s3path/File.csv')

报错信息 #

读取CSV时的错误：

py4j.protocol.Py4JJavaError: An error occurred while calling o34.csv.
: java.lang.NoClassDefFoundError: org/jets3t/service/S3ServiceException

读取Parquet时的类似错误：

py4j.protocol.Py4JJavaError: An error occurred while calling o34.parquet.
: java.lang.NoClassDefFoundError: org/jets3t/service/S3ServiceException

解决方案 #

这个错误是因为Spark运行环境缺少jets3t相关依赖库，该库是Hadoop S3A客户端依赖的核心组件之一，可通过以下方式解决：

• 方式一：启动Spark时指定依赖包
  使用spark-submit或pyspark命令启动时，通过--packages参数自动拉取并加载所需依赖。根据你的Spark和Hadoop版本选择对应组合：

  # Spark 2.x + Hadoop 2.x 示例
  pyspark --packages org.apache.hadoop:hadoop-aws:2.7.3,net.java.dev.jets3t:jets3t:0.9.4
  
  # Spark 3.x + Hadoop 3.x 示例（Hadoop 3.x 调整了依赖结构，需搭配AWS SDK包）
  pyspark --packages org.apache.hadoop:hadoop-aws:3.3.4,com.amazonaws:aws-java-sdk-bundle:1.11.1026
  

• 方式二：手动添加依赖库到Spark classpath
  下载对应版本的jets3t jar包（如jets3t-0.9.4.jar）及关联依赖jar包，放置到Spark安装目录的jars文件夹中，重启Spark服务即可生效。

• 方式三：在代码中配置依赖
  在初始化SparkConf时，通过spark.jars.packages参数指定依赖包，让Spark自动处理依赖下载：

  conf = SparkConf()
  # 根据自身环境调整包版本
  conf.set("spark.jars.packages", "org.apache.hadoop:hadoop-aws:2.7.3,net.java.dev.jets3t:jets3t:0.9.4")
  # 其他配置项...
  

优先推荐方式一或方式三，Spark会自动处理依赖的版本兼容和下载，避免手动管理jar包引发的冲突问题。

内容的提问来源于stack exchange，提问作者gseph