如何将Spark Dataset中的WrappedArray列转换为Java数组并遍历？

直接强转为Java List #

WrappedArray本身实现了java.util.List接口，因此可以直接将获取到的列值强转为对应类型的List：

import org.apache.spark.sql.Row;
import org.apache.spark.sql.catalyst.util.WrappedArray;
import java.util.List;

// 假设你的Dataset<Row>变量名为dataset
dataset.foreach(row -> {
    // 获取聚合后的WrappedArray类型id列
    WrappedArray<Long> wrappedIds = row.getAs("id");
    // 强转为Java List
    List<Long> idList = (List<Long>) wrappedIds;
    // 逐行遍历处理
    for (Long id : idList) {
        // 这里写你的业务逻辑，比如打印id
        System.out.println("处理id: " + id);
    }
});

转换为Java数组 #

如果需要将WrappedArray转为Java数组，有两种常用方式：

方式1：使用WrappedArray自带的array()方法

dataset.foreach(row -> {
    WrappedArray<Integer> wrappedIds = row.getAs("id");
    // 直接转为对应类型的Java数组
    Integer[] idArray = wrappedIds.array();
    // 遍历数组
    for (Integer id : idArray) {
        // 业务处理逻辑
    }
});

方式2：通过List中转实现

dataset.foreach(row -> {
    List<String> idList = (List<String>) row.getAs("id");
    // 将List转为Java数组（这里假设id是String类型）
    String[] idArray = idList.toArray(new String[0]);
    // 遍历操作
});

注意事项 #

• 确保泛型类型和你的id列实际类型一致（比如Long、Integer、String等），避免类型转换异常。
• 记得导入org.apache.spark.sql.catalyst.util.WrappedArray包。

内容的提问来源于stack exchange，提问作者Abigor