Spring Boot中用Scala case class创建Spark Dataset为空问题求助

可以基于引用Scala case class的对象列表创建Dataset，出现空Dataset的问题通常由以下原因导致，对应解决方案如下：

可能的原因及解决方案 #

1. Spark无法通过Java反射正确识别Scala case class的字段结构 #

Scala case class的字段默认生成Scala风格的getter方法（如id()而非getId()），Java反射机制可能无法正确解析这些字段，导致Spark无法识别数据结构，最终生成空的Dataset。

解决方案：手动指定Schema
通过StructType定义明确的表结构，再创建DataFrame：

import org.apache.spark.sql.types.*;

// 定义与Employee case class匹配的Schema
StructType employeeSchema = new StructType()
    .add("id", DataTypes.IntegerType, false)
    .add("name", DataTypes.StringType, false)
    .add("age", DataTypes.IntegerType, false);

// 使用指定的Schema创建DataFrame
Dataset<Row> employeeDF = spark.createDataFrame(employees, employeeSchema);

2. 序列化/编码器不兼容 #

Spark默认的Java Bean编码器可能无法正确处理Scala case class，导致数据无法被正确序列化到Dataset中。

解决方案：使用Kryo编码器或Scala专用编码器
尝试使用Kryo序列化机制来创建强类型Dataset：

import org.apache.spark.sql.Encoders;
import scala.reflect.ClassTag;

// 利用Kryo编码器创建Dataset
Dataset<Employee> employeeDS = spark.createDataset(
    employees,
    Encoders.kryo(Employee.class, (ClassTag<Employee>) scala.reflect.ClassTag$.MODULE$.apply(Employee.class))
);
// 若需要转为DataFrame，可直接调用toDF()
Dataset<Row> employeeDF = employeeDS.toDF();

3. 依赖版本不匹配 #

Spark的Scala版本需与项目中引入的Scala case class编译版本完全一致（如Spark 3.4.x对应Scala 2.12或2.13），版本不兼容会导致Spark无法解析case class的元数据。

解决方案：统一Scala版本
检查项目依赖中Spark和Scala的版本，确保二者匹配。例如在Maven中：

<!-- Spark依赖 -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.12</artifactId>
    <version>3.4.0</version>
</dependency>
<!-- Scala库依赖 -->
<dependency>
    <groupId>org.scala-lang</groupId>
    <artifactId>scala-library</artifactId>
    <version>2.12.17</version>
</dependency>

4. Spring Boot打包导致类元数据丢失 #

使用Spring Boot的默认打包插件时，可能会对Scala类的元数据进行优化或遗漏，导致Spark无法识别case class的结构。

解决方案：调整打包配置
在spring-boot-maven-plugin中添加配置，确保Scala类的元数据被完整保留：

<plugin>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-maven-plugin</artifactId>
    <configuration>
        <excludeDevtools>true</excludeDevtools>
        <keepMetadata>true</keepMetadata>
    </configuration>
</plugin>

5. 确认Employee对象实例化正确 #

在创建DataFrame前，打印employees列表，确认每个Employee对象的字段值都已正确赋值，避免因构造函数参数顺序错误（与Scala case class定义不匹配）导致数据无法被识别。

内容的提问来源于stack exchange，提问作者Harminder Singh