Azure Databricks 10.4LTS调用Dataset.exprEnc()遇NoSuchMethodError求助

错误根源 #

Spark 3.x（对应Databricks 10.4 LTS）中，Dataset.exprEnc()属于内部私有API，已被移除或隐藏，不再允许外部代码调用。而Spark 2.x（Databricks 7.4）中该方法为公开API，因此代码升级后出现此错误。

解决方案 #

替换dataSet.exprEnc()的调用，使用Spark 3.x支持的方式处理Row类型的Encoder：

1. 修改mapPartitions调用 #

将原代码中的：

Dataset<Row> singlePartition = dataSet.mapPartitions(this, dataSet.exprEnc()).repartition(1);

替换为以下两种方式之一：

方式一：显式传入Row类型Encoder

先导入Encoders类：

import org.apache.spark.sql.Encoders;

再修改调用：

Dataset<Row> singlePartition = dataSet.mapPartitions(this, Encoders.row()).repartition(1);

方式二：利用Spark类型推断（简化写法）

由于你的MapPartitionsFunction泛型参数明确为<Row, Row>，Spark可自动推断Encoder，直接省略第二个参数：

Dataset<Row> singlePartition = dataSet.mapPartitions(this).repartition(1);

2. 修复call方法的返回值问题 #

当前call方法返回null，会导致Spark运行时抛出空指针异常。如果不需要修改数据，直接返回原迭代器；如果需要处理数据，返回处理后的迭代器。示例：

@Override
public Iterator<Row> call(Iterator<Row> input) throws Exception {
    List<Row> processedRows = new ArrayList<>();
    while (input.hasNext()) {
        Row row = input.next();
        List<Object> columns = new ArrayList<>();
        for (int i = 0; i < row.length(); i++) {
            columns.add(row.get(i));
        }
        System.out.println("rowss: "+columns);
        processedRows.add(row); // 保留原Row，或构造新Row
    }
    return processedRows.iterator();
}

关于Jar包来源说明 #

你提到的workspace_spark_3_2--sql--core--core-hive-2.3__hadoop-3.2_2.12_deploy.jar是Databricks Runtime自带的Spark核心Jar包，属于平台内置组件，无需手动追踪来源。只需确保你的项目依赖的Spark版本与Databricks Runtime版本（Spark 3.2.x）完全一致即可。

内容的提问来源于stack exchange，提问作者user20881825