Spark 3.x启用spark.sql.datetime.java8API.enabled后Encoders.bean映射LocalDate失败

你遇到的编译错误是Spark 3.x Java Bean编码器对Java 8时间类型的映射bug导致的：

1. 报错信息中的java.time.LocalDateTime$.MODULE$是Scala封装的Java时间类的单例实例引用，Java编译器无法识别该Scala特有语法
2. 即使配置了spark.sql.datetime.java8API.enabled=true，Encoders.bean()仍会错误将Java类的LocalDate字段映射到Scala侧的时间类型，生成不符合Java语法的转换代码
3. 大概率你配置的参数未实际生效：该参数为静态配置，必须在SparkSession实例化之前设置，实例化后修改配置不会生效

• 先确认配置是否生效：运行如下代码打印参数值，检查输出是否为true

spark.sql("SET spark.sql.datetime.java8API.enabled").show();

如果输出为false，需要将参数配置到SparkConf中，在SparkSession构建时传入：

SparkConf conf = new SparkConf()
    .set("spark.sql.datetime.java8API.enabled", "true")
    // 其他配置
    ;
SparkSession spark = SparkSession.builder().config(conf).getOrCreate();

方案1：自定义Bean的Schema覆盖类型映射（侵入性最低） #

手动指定LocalDate字段的Spark SQL类型，覆盖编码器的自动识别逻辑：

public Dataset<Association> toDatasetAssociations(Dataset<Row> rows) {
    Objects.requireNonNull(rows, "Le dataset des associations ne peut pas valoir null.");
    // 手动定义Schema，指定LocalDate字段类型，其他字段按业务类实际属性补充
    StructType schema = new StructType()
        .add("dateCreation", DataTypes.LocalDateType);
    // 用自定义Schema覆盖Bean编码器的默认Schema
    Encoder<Association> encoder = Encoders.bean(Association.class).withSchema(schema);
    
    return rows.map((MapFunction<Row, Association>)row -> {
        Association a = new Association();
        // 手动赋值日期字段，避免自动转换出错
        a.setDateCreation(row.getLocalDate(row.fieldIndex("dateCreation")));
        // 其他字段赋值逻辑
        return a;
    }, encoder);
}

方案2：手动处理类型转换（兼容性最好） #

如果不想依赖编码器的自动映射，可以在业务类中增加兼容层：

// Association类中增加兼容方法
public void setDateCreationSql(java.sql.Date date) {
    this.dateCreation = date.toLocalDate();
}

// map函数中用sql.Date做中转赋值
a.setDateCreationSql(row.getDate(row.fieldIndex("dateCreation")));

方案3：升级Spark版本 #

该Bean编码器的时间类型映射bug在Spark 3.3.0及以上版本已修复，升级到高版本Spark后，只要正确配置spark.sql.datetime.java8API.enabled=true即可直接使用Encoders.bean()映射LocalDate/LocalDateTime字段。

内容的提问来源于stack exchange，提问作者Marc Le Bihan