Spark VectorAssembler输出的含稀疏向量Vector列转Array方法
Spark 特征列 Vector 类型转 Array[Double] 实现方案
核心特性
- 内置
vector_to_array函数可直接作用于DataFrame列,同时兼容稠密、稀疏两种Vector类型,无需额外编写分支判断,也不需要手动将稀疏向量转为稠密格式。 - 函数处理稀疏向量时,会自动按向量总维度补全缺失索引位置的0值,输出连续的Double值数组,完全匹配
Array[Double]的类型要求。
落地代码
- 先导入正确的函数包(常见踩坑点:该函数位于
org.apache.spark.ml.functions包下,而非通用的org.apache.spark.sql.functions包):import org.apache.spark.ml.functions.vector_to_array import org.apache.spark.sql.functions.col - 在现有
assembler生成的transformedDF基础上新增转换逻辑:
如果需要直接覆盖原// 保留原Vector类型的features列,新增Array[Double]类型列 val finalDF = transformedDF .withColumn("features_array", vector_to_array(col("features")))features列,无需新增列名,可修改为:val finalDF = transformedDF .withColumn("features", vector_to_array(col("features")))
说明
- 转换完成后,列的Schema会更新为
ArrayType(DoubleType, containsNull = false),无空值元素,可直接对接下游需要Array[Double]类型的业务逻辑。 - 无需提前对稀疏向量做
.toDense预处理,函数内部已封装对应逻辑,执行效率与手动稠密转换无差异。
内容的提问来源于stack exchange,提问作者Chhavi Bansal
相关产品推荐
相关产品推荐

