如何在POJO侧配置映射将Spark DataFrame转为字段名不同的Dataset

Spark 的 Encoders.bean() 基于 Java Bean 规范实现字段与 DataFrame 列的匹配，默认仅支持名称严格对应，不会识别 Gson 等第三方序列化框架的注解，所以你之前使用 @SerializedName 配置的映射规则不会生效。

你可以通过以下两种方案实现不改 DataFrame 列名，仅在代码侧完成映射：

方案1：使用 Spark 官方 @ColumnName 注解（适用 Spark 3.0+ 版本） #

Spark 3.0 及以上版本内置了 org.apache.spark.sql.annotations.ColumnName 注解，专门用于定义 POJO 字段与 DataFrame 列名的映射关系，直接加在对应字段上即可：

import org.apache.spark.sql.annotations.ColumnName;
import java.io.Serializable;
import java.util.Date;

public class Person implements Serializable {
    // 无参构造、getter、setter 必须保留，BeanEncoder 依赖这些能力
    public Person() {}

    private String name;

    @ColumnName("date_of_birth")
    private Date dateOfBirth;

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public Date getDateOfBirth() {
        return dateOfBirth;
    }

    public void setDateOfBirth(Date dateOfBirth) {
        this.dateOfBirth = dateOfBirth;
    }
}

注解配置完成后，你原来的转换代码不需要做任何修改，直接用 Encoders.bean(Person.class) 就能自动完成映射转换。

方案2：自定义行映射逻辑（适用所有 Spark 版本） #

如果你使用的 Spark 版本低于3.0，可以手动实现 MapFunction 完成 Row 到 POJO 的转换，不需要修改 DataFrame 列名，兼容性最好：

import org.apache.spark.api.java.function.MapFunction;
import org.apache.spark.sql.Encoders;
import org.apache.spark.sql.Row;

// 其他代码省略
Encoder<Person> personEncoder =  Encoders.bean(Person.class);
Dataset<Person> personDS = result.map((MapFunction<Row, Person>) row -> {
    Person person = new Person();
    person.setName(row.getAs("name"));
    person.setDateOfBirth(row.getAs("date_of_birth"));
    return person;
}, personEncoder);
List<Person> personList = personDS.collectAsList();

内容的提问来源于stack exchange，提问作者user7551211