You need to enable JavaScript to run this app. Spark VectorAssembler输出的含稀疏向量Vector列转Array方法
优惠活动
大模型
产品
解决方案
定价
更多

Spark VectorAssembler输出的含稀疏向量Vector列转Array方法

Spark 特征列 Vector 类型转 Array[Double] 实现方案

核心特性

  • 内置vector_to_array函数可直接作用于DataFrame列,同时兼容稠密、稀疏两种Vector类型,无需额外编写分支判断,也不需要手动将稀疏向量转为稠密格式。
  • 函数处理稀疏向量时,会自动按向量总维度补全缺失索引位置的0值,输出连续的Double值数组,完全匹配Array[Double]的类型要求。

落地代码

  1. 先导入正确的函数包(常见踩坑点:该函数位于org.apache.spark.ml.functions包下,而非通用的org.apache.spark.sql.functions包):
    import org.apache.spark.ml.functions.vector_to_array
    import org.apache.spark.sql.functions.col
    
  2. 在现有assembler生成的transformedDF基础上新增转换逻辑:
    // 保留原Vector类型的features列,新增Array[Double]类型列
    val finalDF = transformedDF
      .withColumn("features_array", vector_to_array(col("features")))
    
    如果需要直接覆盖原features列,无需新增列名,可修改为:
    val finalDF = transformedDF
      .withColumn("features", vector_to_array(col("features")))
    

说明

  • 转换完成后,列的Schema会更新为ArrayType(DoubleType, containsNull = false),无空值元素,可直接对接下游需要Array[Double]类型的业务逻辑。
  • 无需提前对稀疏向量做.toDense预处理,函数内部已封装对应逻辑,执行效率与手动稠密转换无差异。

内容的提问来源于stack exchange,提问作者Chhavi Bansal

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.13 20:36:06