PySpark连接S3与Athena时遇NoClassDefFoundError错误求助

这个错误的核心原因是Hadoop客户端Jar包版本不匹配：PrefetchingStatistics是Hadoop 3.3.0及以上版本才新增的API类，如果你的Spark依赖的Hadoop版本低于3.3.0，或者你引入的S3/Athena相关Jar依赖了更高版本的Hadoop API，就会出现类找不到的问题。以下是针对新手的具体解决步骤：

1. 确认Spark自带的Hadoop版本 #

先搞清楚你的Spark环境默认依赖的Hadoop版本：

• 终端执行：spark-submit --version，输出里会显示Hadoop version
• 或者在PySpark代码里执行：

  from pyspark import SparkContext
  sc = SparkContext.getOrCreate()
  print(sc._jvm.org.apache.hadoop.util.VersionInfo.getVersion())
  

  记下来这个版本号（比如3.3.4），后续所有相关Jar都要和这个版本匹配。

2. 统一Jar包依赖版本 #

检查你当前使用的Jar列表，重点排查以下几类Jar的版本：

• hadoop-common-*.jar、hadoop-client-*.jar：必须和Spark自带的Hadoop版本完全一致
• hadoop-aws-*.jar（S3驱动）：版本要和Hadoop核心Jar一致
• Athena相关驱动（比如AthenaJDBC42-*.jar、spark-athena-connector-*.jar）：要选择适配当前Hadoop版本的发行版

如果发现有版本不匹配的Jar，直接替换成对应版本的，或者删除冲突的旧版本Jar。

3. 用Maven坐标自动管理依赖（推荐新手） #

手动下载Jar容易出错，推荐通过PySpark的spark.jars.packages配置Maven坐标，让系统自动下载并管理兼容的依赖：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("AthenaS3Connection") \
    # 替换成你Spark对应的Hadoop版本，AWS SDK版本要和hadoop-aws兼容
    .config("spark.jars.packages", "org.apache.hadoop:hadoop-common:3.3.4,org.apache.hadoop:hadoop-aws:3.3.4,com.amazonaws:aws-java-sdk-s3:1.12.400,com.amazonaws.athena:aws-athena-jdbc-driver:2.0.35") \
    .getOrCreate()

注意：aws-java-sdk-s3的版本要和hadoop-aws匹配，比如Hadoop 3.3.x对应SDK 1.12.x系列，不要用2.x版本的SDK。

4. 排查重复冲突的Jar #

如果还是报错，用spark-submit --verbose your_script.py启动，查看输出里的Loaded Jars列表，找出版本冲突的Jar（比如同时存在hadoop-common-3.2.2.jar和hadoop-common-3.3.4.jar），手动移除旧版本的Jar文件。

内容的提问来源于stack exchange，提问作者Benny Semyonov