Scala中如何将Spark Dataset转为POJO列表？构造器错误求解

错误原因 #

1. Spark Bean编码器规范未满足：Encoders.bean(classOf[JavaItem])依赖JavaBean规范，要求目标类必须有公共无参构造方法。你的JavaItem同时使用@Data和@Builder注解时，Lombok默认不会生成无参构造，只会生成包含所有字段的全参构造，导致Spark反射创建实例时失败，抛出构造方法找不到的错误。
2. 数据赋值缺失：当前asJavaItem方法中，JavaItem.builder().build()没有设置name字段，即使编码器正常工作，最终生成的JavaItem实例的name也会是null，无法完成有效数据转换。

正确实现步骤 #

1. 修改Java POJO，补充无参构造 #

给JavaItem添加@NoArgsConstructor和@AllArgsConstructor注解，确保Lombok生成无参构造方法，同时保留Builder功能：

@Data
@Builder
@NoArgsConstructor
@AllArgsConstructor
public class JavaItem {
    private String name;
}

2. 修正Scala转换方法，补充数据赋值 #

修改asJavaItem方法，将Record的name字段传递给JavaItem的Builder：

case class Record(name: String)

def asJavaItem(record: Record): JavaItem = {
    // 补充name字段赋值
    JavaItem.builder().name(record.name).build()
}

def recordDatasetToListJavaItem(record: Dataset[Record]): java.util.List[JavaItem] = {
    implicit val encoder: Encoder[JavaItem] = Encoders.bean(classOf[JavaItem])
    record.map(asJavaItem).collectAsList()
}

val recordDataset = Seq(Record("name")).toDS()

// 现在可以正常执行
recordDatasetToListJavaItem(recordDataset)

替代方案：使用Kryo编码器（可选） #

如果不想修改Java POJO，也可以使用Encoders.kryo(classOf[JavaItem])作为编码器，它不依赖JavaBean规范，通过序列化实现：

def recordDatasetToListJavaItem(record: Dataset[Record]): java.util.List[JavaItem] = {
    implicit val encoder: Encoder[JavaItem] = Encoders.kryo(classOf[JavaItem])
    record.map(asJavaItem).collectAsList()
}

不过这种方式性能略低于Bean编码器，且不支持Spark SQL的结构化操作，仅适合单纯的数据转换场景。

内容的提问来源于stack exchange，提问作者AznBoyStride