如何提取Spark Dataset<Row>元数据并转换为Java List？

当然有办法！我来一步步给你讲清楚怎么实现这两个需求～

Spark的Dataset<Row>自带了Schema信息，我们可以通过schema()方法拿到StructType对象，从这里就能提取所有需要的元数据：

• 获取列数量：直接调用StructType的size()方法即可
• 获取列名称和类型：遍历StructType中的StructField元素，每个元素都提供了name()（列名）和dataType()（列类型）方法

给你个Java代码示例：

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.types.StructField;
import org.apache.spark.sql.types.StructType;

// 假设你已经有了目标Dataset<Row> dataset
StructType schema = dataset.schema();

// 1. 获取列数量
int columnCount = schema.size();
System.out.println("列数量: " + columnCount);

// 2. 遍历获取列名和类型
System.out.println("列名称及对应类型:");
for (StructField field : schema.fields()) {
    String colName = field.name();
    // typeName()返回简洁的类型字符串，比如"string"、"int"、"array<string>"
    String colType = field.dataType().typeName();
    System.out.printf("%s → %s%n", colName, colType);
}

如果需要处理复杂类型（比如Array、Struct），可以直接用field.dataType()拿到DataType对象，进一步解析嵌套结构。

根据你的需求，这里有几种常用的实现方式：

方式1：直接转为List #

如果不需要自定义对象，直接用collectAsList()就能把数据集拉到Driver端，返回Java的List<Row>：

import java.util.List;
import org.apache.spark.sql.Row;

List<Row> rowList = dataset.collectAsList();

⚠️ 注意：这个操作会把分布式数据全部拉到Driver节点，只适合小数据集，大数据量下容易导致Driver内存溢出。

方式2：转为自定义Java对象的List #

如果要转成你自己定义的业务对象（比如User、Order），需要先准备好符合JavaBean规范的类，再借助Encoders.bean()完成转换：

首先定义一个JavaBean类（必须有无参构造函数，字段名尽量和Dataset列名一致）：

public class User {
    private String userName;
    private Integer age;
    private Double totalScore;

    // 必须的无参构造函数
    public User() {}

    // Getter和Setter方法
    public String getUserName() { return userName; }
    public void setUserName(String userName) { this.userName = userName; }
    public Integer getAge() { return age; }
    public void setAge(Integer age) { this.age = age; }
    public Double getTotalScore() { return totalScore; }
    public void setTotalScore(Double totalScore) { this.totalScore = totalScore; }
}

然后执行转换：

import org.apache.spark.sql.Encoders;
import java.util.List;

List<User> userList = dataset.as(Encoders.bean(User.class)).collectAsList();

如果列名和字段名不匹配，可以用@Column注解映射，比如@Column(name = "user_name") private String userName;。

方式3：手动映射（适合复杂转换场景） #

如果需要做一些自定义的数据转换（比如类型转换、字段计算），可以用map()操作手动处理每一行数据：

List<User> userList = dataset.map(row -> {
    User user = new User();
    // 通过fieldIndex()根据列名拿到索引，再提取对应值
    user.setUserName(row.getString(row.fieldIndex("user_name")));
    user.setAge(row.getInt(row.fieldIndex("age")));
    // 这里可以加入自定义逻辑，比如对分数做取整处理
    user.setTotalScore(Math.round(row.getDouble(row.fieldIndex("score")) * 100.0) / 100.0);
    return user;
}, Encoders.bean(User.class)).collectAsList();

这种方式灵活性更高，能满足特殊的业务转换需求。

内容的提问来源于stack exchange，提问作者Mike Wang