如何用PySpark将DataFrame稀疏向量列转为稠密向量？含Scala转写需求

Scala转PySpark的常见问题点 #

• 类型系统差异：Scala的Array[Float]对应PySpark的list，但Spark ML的DenseVector需传入Python原生list或numpy.ndarray，若误处理类型会触发TypeError/ValueError。
• UDF写法差异：Scala可直接操作嵌入数组，PySpark中需明确处理EmbeddingFinisher输出的ArrayType(FloatType)格式，若误将其当作稀疏向量处理会报错。
• 依赖导入错误：PySpark需导入pyspark.ml.linalg.DenseVector，而非Scala的org.apache.spark.ml.linalg.DenseVector，导入错误会导致类型不兼容。

修正后的PySpark代码实现 #

假设你的DataFrame中嵌入列名为embeddings，目标稠密向量列名为dense_vec：

from pyspark.sql.functions import udf
from pyspark.ml.linalg import DenseVector, VectorUDT

# 定义转换UDF：将SparkNLP输出的浮点数组转为稠密向量
def array_to_dense(arr):
    return DenseVector(arr)

# 注册UDF并指定返回类型为Spark ML向量类型
array_to_dense_udf = udf(array_to_dense, VectorUDT())

# 执行转换
df_dense = df.withColumn("dense_vec", array_to_dense_udf("embeddings"))

# 验证结果
df_dense.select("embeddings", "dense_vec").show(5, truncate=False)

关键注意事项 #

• 确保EmbeddingFinisher的outputAsVector参数设为False（默认值），输出ArrayType(FloatType)格式，便于后续转换。
• 若无需中间数组格式，可直接设置EmbeddingFinisher(outputAsVector=True)，直接生成稠密向量，跳过手动转换步骤。
• 若遇到numpy类型兼容问题，可在UDF中将数组转为Python原生list：return DenseVector(list(arr))。

内容的提问来源于stack exchange，提问作者RFAI