Intellij中调用DeltaTable.delete()报NoSuchMethodError问题排查

核心原因：Delta与Spark版本不兼容 #

你遇到的NoSuchMethodError本质是Delta Lake依赖的Spark Catalyst API版本，与项目中实际使用的Spark版本不匹配。Delta Lake对Spark版本有严格要求，你使用的Delta 2.1.0需要搭配Spark 3.3.x系列，若项目中Spark版本低于3.3（比如3.2或更早），就会出现这种方法找不到的异常。

具体解决步骤 #

1. 修正Spark依赖版本 #

检查pom.xml，确保Spark版本与Delta 2.1.0匹配（Spark 3.3.x），示例配置：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.12</artifactId>
    <version>3.3.2</version>
    <scope>provided</scope>
</dependency>

注：Delta 2.1.0对应的Spark版本范围是3.3.0~3.3.3，不要跨版本搭配使用。

2. 简化Delta依赖并避免重复 #

delta-core_2.12已经包含delta-storage的功能，无需单独引入，可删除重复的delta-storage依赖，减少冲突风险：

<dependency>
    <groupId>io.delta</groupId>
    <artifactId>delta-core_2.12</artifactId>
    <version>2.1.0</version>
</dependency>

3. 确保SparkSession配置完全生效 #

若之前创建过SparkSession，可能会被缓存导致新配置无法生效，创建前先清除缓存：

// 清除已有会话，保证新配置生效
SparkSession.clearActiveSession()
SparkSession.clearDefaultSession()

val ss = SparkSession.builder
      .master("local[*]")
      .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension")
      .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog")
      .appName(appName)
      .getOrCreate()

4. 排查依赖冲突 #

用Maven命令查看完整依赖树，确认没有其他依赖引入不兼容的Spark或Delta版本：

mvn dependency:tree

若发现冲突，在对应依赖中添加<exclusions>排除旧版依赖，比如：

<dependency>
    <!-- 你的其他依赖 -->
    <exclusions>
        <exclusion>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.12</artifactId>
        </exclusion>
    </exclusions>
</dependency>

为什么读写正常但Delete失败？ #

基础的Delta读写仅需格式序列化/反序列化支持，不依赖Delta扩展插件和Catalog配置；而delete是Delta的事务性操作，需要加载Delta扩展生成对应逻辑执行计划，此时版本不兼容就会触发方法找不到的错误。

内容的提问来源于stack exchange，提问作者Ignacio Alorre