Spark 3.3.2（兼容Java 17）是否支持Java Record？

Spark 3.3.2不支持用Encoders.bean()处理Java Record，这就是你遇到编译错误的核心原因。

错误原因 #

Encoders.bean()是基于JavaBean规范实现的编码器，它要求目标类必须满足：

• 拥有公共的无参构造方法
• 字段对应标准的getter/setter方法

但Java Record作为Java 16引入的不可变值类型，默认只生成全参构造方法，没有无参构造；同时Record的字段访问是直接通过字段名（而非getter方法），完全不符合JavaBean的规范，所以Encoders.bean()无法正常实例化Record对象，抛出找不到无参构造的错误。

解决办法 #

1. 升级到Spark 3.4及以上版本
   Spark 3.4开始正式支持Java Record，新增了Encoders.record(Class<T> recordClass)编码器，专门适配Record的特性，无需无参构造和getter方法，直接可以处理。你可以直接替换Encoders.bean(JeuDeDonnees.class)为Encoders.record(JeuDeDonnees.class)，或者在创建Dataset时让Spark自动推断编码器。

2. 在Spark 3.3.2中替代方案
   如果无法升级版本，有两种临时处理方式：

   • 使用通用序列化编码器：比如Encoders.javaSerialization(JeuDeDonnees.class)或Encoders.kryo(JeuDeDonnees.class)，但这类通用编码器的性能远不如专用编码器，适合小数据量场景。
   • 转换为普通POJO：将Java Record的逻辑迁移到符合JavaBean规范的普通类中，保留无参构造和getter/setter，再用Encoders.bean()处理。

内容的提问来源于stack exchange，提问作者Marc Le Bihan