Spark Java环境下如何将字符串数组列拆分为对应多列

实现方案 #

你当前需求不需要使用explode（explode用于将数组/Map拆分为多行，不符合你拆为多列的诉求），你提到的array_column实际为存储a/b/c键值对的Map类型，直接按Key取值即可实现，Java环境下两种实现方式如下：

方式1：使用DataFrame API实现

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import static org.apache.spark.sql.functions.col;

Dataset<Row> resultDf = df
    // 从Map列中按键取出对应值，生成独立列
    .withColumn("a", col("array_column").getItem("a"))
    .withColumn("b", col("array_column").getItem("b"))
    .withColumn("c", col("array_column").getItem("c"))
    // 保留需要的字段
    .select("id", "a", "b", "c");

// 验证结果
resultDf.show();

方式2：使用Spark SQL实现

// 注册临时视图
df.createOrReplaceTempView("source_table");

// 直接在SQL中取Map字段的键值
Dataset<Row> resultDf = spark.sql(
    "SELECT id, " +
    "array_column['a'] as a, " +
    "array_column['b'] as b, " +
    "array_column['c'] as c " +
    "FROM source_table"
);

// 验证结果
resultDf.show();

特殊情况说明（确认为Array类型时）

如果你的array_column确实为字符串数组，每个元素格式为key:value且位置固定，可通过下标取值后切割前缀实现：

Dataset<Row> resultDf = df
    .withColumn("a", col("array_column").getItem(0).substr(3))
    .withColumn("b", col("array_column").getItem(1).substr(3))
    .withColumn("c", col("array_column").getItem(2).substr(3))
    .select("id", "a", "b", "c");

内容的提问来源于stack exchange，提问作者Ofir