PySpark RowMatrix报错：DataFrame需含单个向量类型列的问题咨询

问题根源 #

你的两个错误都是Vector类型不匹配导致的：

1. 初始的vector列是Python普通列表，不是Spark官方的Vector类型，RowMatrix无法识别；
2. 你转换的pyspark.ml.linalg.DenseVector属于ML模块，但RowMatrix是MLLib模块的类，它要求使用pyspark.mllib.linalg.Vector类型，两者不兼容。

解决方案1：用MLLib模块实现 #

步骤1：将列表列转换为MLLib的DenseVector

导入MLLib向量类和UDF工具，把原始列表列转成符合要求的Vector类型：

from pyspark.mllib.linalg import DenseVector
from pyspark.sql.functions import udf

# 定义转换UDF，把Python列表转成MLLib的DenseVector
list_to_mllib_vector = udf(lambda lst: DenseVector(lst))

# 转换原DataFrame的vector列
converted_df = app_vectors_df.withColumn("mllib_vector", list_to_mllib_vector("vector"))

步骤2：创建RowMatrix并计算余弦相似度

RowMatrix需要接收RDD[Vector]类型数据，提取转换后的列生成RDD即可：

from pyspark.mllib.linalg.distributed import RowMatrix

# 提取Vector列的RDD
vector_rdd = converted_df.select("mllib_vector").rdd.map(lambda row: row.mllib_vector)

# 创建矩阵并计算余弦相似度
mat = RowMatrix(vector_rdd)
cosine_similarities = mat.columnSimilarities()

# 查看计算结果
cosine_similarities.entries.collect()

解决方案2：用ML模块实现（更贴合Spark当前生态） #

如果不想区分MLLib和ML的Vector，直接用ML模块的CosineSimilarity工具，步骤更简洁：

步骤1：将列表列转换为ML的DenseVector

from pyspark.ml.linalg import DenseVector
from pyspark.sql.functions import udf

# 定义转换UDF，把Python列表转成ML的DenseVector
list_to_ml_vector = udf(lambda lst: DenseVector(lst))
ml_converted_df = app_vectors_df.withColumn("ml_vector", list_to_ml_vector("vector"))

步骤2：计算余弦相似度

from pyspark.ml.feature import CosineSimilarity
from pyspark.sql.functions import monotonically_increasing_id

# 添加索引列，方便后续对应app名称
indexed_df = ml_converted_df.withColumn("id", monotonically_increasing_id())

# 初始化并运行CosineSimilarity
cs = CosineSimilarity(inputCol="ml_vector", outputCol="similarities")
result_df = cs.fit(indexed_df).transform(indexed_df)

# 查看结果
result_df.select("app", "similarities").show(truncate=False)

关键注意点 #

• Spark的ML和MLLib模块的Vector不兼容，使用时必须严格对应：
  • MLLib模块（如RowMatrix）→ pyspark.mllib.linalg.Vector
  • ML模块（如CosineSimilarity）→ pyspark.ml.linalg.Vector
• 不能直接将Python列表传入需要Vector类型的Spark API，必须先转为官方支持的Vector类型。

内容的提问来源于stack exchange，提问作者Maya Ben-Arous