Spark DataFrame中CountVectorizer稀疏向量拆分为多列遇问题

问题原因分析 #

你遇到的两个错误本质上都是ML与MLlib向量类混淆以及不必要的类型转换导致的：

1. 第一个类型不匹配错误：你最初导入的是org.apache.spark.mllib.linalg.Vector（属于旧的RDD式MLlib API），但CountVectorizer是ML API的组件，生成的是org.apache.spark.ml.linalg.Vector——这两个类虽然同名，但属于不同包，完全不兼容，所以UDF的参数类型和列的实际类型不匹配，触发了错误。
2. ClassCastException错误：你尝试把ML向量转成MLlib向量是多此一举的操作，不仅没必要，还引入了类型转换冲突。ML向量本身就有toArray方法可以直接转为Double数组，不需要绕到MLlib的API。

另外你代码里的(0 until 39)只生成了39个列（索引0到38），但你说有40个特征，这里也需要修正为(0 until 40)才能覆盖所有特征。

简便解决方案 #

方案1：使用正确的ML向量UDF

先确保导入ML包的Vector，定义正确的UDF直接转换向量为数组：

import org.apache.spark.sql.functions.udf
import org.apache.spark.ml.linalg.Vector

// 定义UDF：将ML向量转为Double数组
val vecToArray = udf((v: Vector) => v.toArray)

// 生成40个特征列的表达式
val featureCols = (0 until 40).map(i => $"vector_array".getItem(i).alias(s"feature_$i"))

// 转换并拆分列
val resultDF = testDF
  .withColumn("vector_array", vecToArray($"features"))
  .select(featureCols:_*)

方案2：使用Spark内置函数（Spark 3.0+推荐）

Spark 3.0及以上版本提供了vector_to_array内置函数，无需自定义UDF，更简洁高效：

import org.apache.spark.sql.functions.vector_to_array

// 生成特征列表达式
val featureCols = (0 until 40).map(i => $"vector_array".getItem(i).alias(s"feature_$i"))

// 一步完成向量转数组+拆分
val resultDF = testDF
  .withColumn("vector_array", vector_to_array($"features"))
  .select(featureCols:_*)

这两种方法都能正确将CountVectorizer生成的稀疏向量转为稠密数组，再拆分为单独的特征列，供外部模型使用。

内容的提问来源于stack exchange，提问作者renegademonkey