Scala Spark：将DataFrame中向量列拆分为多列的最优方案

嘿，这个需求其实Spark已经提供了非常高效的内置解决方案，完全不用手动构造Row来创建新DataFrame——不管是代码简洁度还是运行性能，都比你想到的方法更优。核心思路是先把Vector类型列转换成数组列，再将数组的每个元素映射为对应名称的新列，全程基于DataFrame API操作，避免了RDD层面的低效转换。

步骤1：使用内置函数将Vector转为数组（Spark 3.0+推荐） #

Spark 3.0及以上版本提供了vector_to_array这个专门的内置函数，它是经过Catalyst优化器深度优化的，比自定义UDF或者手动处理Vector要快得多。

首先导入该函数：

import org.apache.spark.ml.functions.vector_to_array

然后将你的Vector列（假设列名为Features）转换为数组列：

val dfWithArray = df.withColumn("features_array", vector_to_array($"Features"))

步骤2：拆分数组为指定列名的多个列 #

接下来，利用你的列名列表（假设为colNames: Array[String]），遍历提取数组的每个元素并命名为对应的列，同时保留原DataFrame的其他列：

val resultDf = dfWithArray.select(
  // 保留原DataFrame中除了Features之外的所有列
  df.columns.filter(_ != "Features").map(col): _*,
  // 遍历列名列表，提取数组对应索引的元素并设置别名
  colNames.zipWithIndex.map { case (colName, idx) =>
    $"features_array".getItem(idx).alias(colName)
  }: _*
).drop("features_array") // 删除临时的数组列

兼容Spark 2.x的方案（如果无法升级版本） #

如果你的Spark版本低于3.0，没有vector_to_array函数，可以用自定义UDF来实现Vector转数组，后续拆分步骤和上面一致：

import org.apache.spark.sql.functions.udf
import org.apache.spark.ml.linalg.Vector

// 定义自定义UDF将Vector转为数组
val vectorToArrayUdf = udf((vec: Vector) => vec.toArray)
val dfWithArray = df.withColumn("features_array", vectorToArrayUdf($"Features"))

// 后续拆分步骤和Spark 3.x版本完全相同
val resultDf = dfWithArray.select(
  df.columns.filter(_ != "Features").map(col): _*,
  colNames.zipWithIndex.map { case (colName, idx) =>
    $"features_array".getItem(idx).alias(colName)
  }: _*
).drop("features_array")

为什么这个方案更优？ #

• 性能更高：内置函数vector_to_array是Spark官方优化过的，基于Catalyst执行计划优化，比手动构造Row的RDD转换效率高几个量级，尤其在大数据量场景下优势明显。
• 代码更简洁易维护：不需要手动处理Row的构造和类型转换，避免了潜在的类型错误；自动保留原有列，不用手动列举所有非特征列。
• 扩展性强：如果后续向量维度或列名列表有变化，只需要修改colNames数组即可，无需调整核心逻辑。

内容的提问来源于stack exchange，提问作者Logan Yang