将Delta表写入S3存储桶时遇Py4JJavaError问题求助

这个NoClassDefFoundError是Delta Lake与Spark版本不兼容导致的类缺失问题，你的依赖配置存在两处关键冲突：

• delta-spark 3.2.0仅适配Spark 3.3.x版本，和你使用的Spark 3.5.1版本差距过大，类结构不匹配
• 同时引入了delta-core_2.12:2.3.0，这和delta-spark 3.2.0属于重复依赖且版本不一致，会引发类加载混乱

修复步骤 #

1. 统一Delta与Spark版本
   根据Delta官方兼容规则，Spark 3.5.1需要搭配delta-spark 3.4.x版本（推荐3.4.0），直接移除delta-core_2.12依赖——delta-spark已经包含了delta-core的所有核心功能，重复引入只会出问题。

2. 更新依赖包
   如果用pip管理Python依赖，执行以下命令：

   pip uninstall delta-spark delta-core
   pip install delta-spark==3.4.0
   

   要是用Maven/Gradle构建Java依赖，只保留delta-spark依赖并指定版本为3.4.0，删除所有delta-core相关配置。

3. 确认SparkSession配置正确
   初始化SparkSession时必须加载Delta的扩展，示例代码：

   from pyspark.sql import SparkSession
   
   spark = SparkSession.builder \
       .appName("DeltaS3Write") \
       .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
       .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
       .getOrCreate()
   

4. 验证Hadoop-AWS配置
   hadoop-aws 3.4.0和Spark 3.5.1是兼容的，无需调整，但要确保S3的访问密钥、端点等配置正确，避免额外的权限或连接问题。

内容的提问来源于stack exchange，提问作者Salitha10