如何在Spark中将MapType转换为SparkML稀疏向量以适配机器学习模型？

我之前也碰到过完全一样的困扰——SparkML的VectorAssembler确实不买MapType的账，直接展开列又容易导致特征爆炸，尤其是Map里的键特别多的时候。下面分享两个实用的方案，你可以根据自己的场景选：

方案一：自定义UDF手动构建稀疏向量（适合需要精准控制特征映射的场景） #

这个方法分两步走，分别处理数值型Map（比如你的colA）和字符串型Map（colB、colC）：

处理数值型Map（colA） #

1. 先收集所有Map里的唯一键，建立键到索引的映射：

import org.apache.spark.sql.functions._

// 收集所有唯一键
val allKeys = df.select(explode(map_keys($"colA"))).distinct().collect().map(_.getString(0))
val keyToIndex = allKeys.zipWithIndex.toMap
val numFeatures = keyToIndex.size

2. 编写UDF把每个Map转换成SparseVector：

import org.apache.spark.ml.linalg.SparseVector
import org.apache.spark.sql.functions.udf

val mapToSparseVector = udf((map: Map[String, Double]) => {
  val indices = map.keys.map(keyToIndex(_)).toArray.sorted
  val values = indices.map(i => map(allKeys(i)))
  new SparseVector(numFeatures, indices, values)
})

// 生成新的向量列
val dfWithColAVector = df.withColumn("colA_vector", mapToSparseVector($"colA"))

处理字符串型Map（colB、colC） #

字符串值不能直接作为向量值，需要先把键值对转换成可索引的特征。这里可以把每个"键-值"组合当成一个独立的类别特征：

1. 收集所有"键-值"组合并建立映射：

// 以colB为例，展开所有键值对并去重
val allColBKVs = df.select(explode($"colB")).distinct().collect().map { row =>
  val (k, v) = row.getAs[(String, String)](0)
  s"colB_${k}_${v}"
}
val kvToIndex = allColBKVs.zipWithIndex.toMap
val numColBFeatures = kvToIndex.size

2. 编写UDF生成稀疏向量：

val stringMapToSparseVector = udf((map: Map[String, String]) => {
  val kvStrings = map.map { case (k, v) => s"colB_${k}_${v}" }
  val indices = kvStrings.map(kvToIndex(_)).toArray.sorted
  val values = Array.fill(indices.length)(1.0) // 类别特征用1表示存在
  new SparseVector(numColBFeatures, indices, values)
})

val dfWithColBVector = dfWithColAVector.withColumn("colB_vector", stringMapToSparseVector($"colB"))

方案二：用FeatureHasher一键生成（简单高效，适合快速迭代） #

SparkML的FeatureHasher其实支持MapType列！它会自动把Map的键作为特征名，数值类型的值直接使用，字符串类型的值会通过哈希映射到特征空间，最终输出稀疏向量。这个方法不用手动收集键，代码量极少：

import org.apache.spark.ml.feature.FeatureHasher

val hasher = new FeatureHasher()
  .setInputCols(Array("colA", "colB", "colC"))
  .setOutputCol("features")

val dfWithFeatures = hasher.transform(df)

注意：哈希可能会有碰撞（不同的键映射到同一个特征索引），如果你的特征数量不大或者可以接受极小的碰撞概率，这个方法绝对是首选。如果需要完全避免碰撞，还是用方案一。

最后，如果你需要把多个向量列合并成一个最终的特征向量，就可以用VectorAssembler处理这些生成的向量列了。

内容的提问来源于stack exchange，提问作者S.J.Clear