Spark中如何将数组列拆分为多列？附数据转换示例

嘿，这个需求在日常Spark开发里挺常见的，我给你分享两种简单实用的方法，都能快速把你的数组列拆成单独的列：

方法一：使用withColumn + getItem #

这种方法逻辑清晰，新手也容易理解，适合逐步添加目标列：

// 假设你的原始DataFrame名为df
val transformedDF = df
  .withColumn("col1", $"DataArray".getItem(0))  // 取数组第1个元素（索引从0开始计数）
  .withColumn("col2", $"DataArray".getItem(1))  // 取数组第2个元素
  .withColumn("col3", $"DataArray".getItem(2))  // 取数组第3个元素
  .drop("DataArray")  // 移除原来的数组列

getItem(n)方法会直接提取数组的第n个元素，最后用drop删掉不需要的原数组列，就能得到你想要的结构了。

方法二：直接在select中展开数组元素 #

如果想写得更简洁，可以直接在select语句里通过数组索引提取元素，和getItem效果完全一致：

val transformedDF = df.select(
  $"id",
  $"DataArray"(0).alias("col1"),
  $"DataArray"(1).alias("col2"),
  $"DataArray"(2).alias("col3")
)

这里$"DataArray"(n)是getItem(n)的简写形式，用alias给每个元素列命名，一步到位生成目标结构。

额外说明 #

这两种方法都适用于数组长度固定的场景（就像你的例子里每个数组都是3个元素）。如果数组长度不固定，你可能需要先判断数组长度再做处理，但你的需求里完全不需要考虑这个~

内容的提问来源于stack exchange，提问作者lserlohn