如何将Spark SQL的Dataset<Row>拆解为单个StructFields/列

针对Java 11 + Spark SQL 3.3.2（Scala 2.13）环境，直接利用Spark原生API即可完成转换，核心逻辑如下：

Spark的Dataset<Row>.schema()返回StructType对象，而StructType提供了fields()方法，可直接获取所有列对应的StructField数组，再将数组转换为List<StructField>即可。

基础实现（可变列表） #

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.types.StructField;
import org.apache.spark.sql.types.StructType;
import java.util.Arrays;
import java.util.List;

// 假设已有初始化完成的Dataset<Row> ds
StructType schema = ds.schema();
// 获取所有列对应的StructField数组
StructField[] fieldsArray = schema.fields();
// 转换为List<StructField>
List<StructField> structFieldsList = Arrays.asList(fieldsArray);

Java 11+ 不可变列表实现 #

如果需要生成不可变列表（避免后续意外修改），可以使用Java 11新增的Collectors.toUnmodifiableList()：

import java.util.List;
import java.util.stream.Collectors;

// 通过Stream转换为不可变List
List<StructField> immutableStructFieldsList = Arrays.stream(schema.fields())
        .collect(Collectors.toUnmodifiableList());

嵌套Schema处理备注 #

如果Dataset包含嵌套结构（比如某列的类型为StructType），需要提取嵌套层级的字段时，可递归遍历：判断StructField的dataType()是否为StructType，若是则重复上述步骤提取其内部字段。

内容的提问来源于stack exchange，提问作者hotmeatballsoup