如何将Spark DataFrame的price列转换为KMeans.train可接受类型？

嘿，我完全懂你反复尝试却碰壁的心情——Spark MLlib里的KMeans算法要求输入必须是Vector类型的特征列，而你现在只提取了单个的double类型price列，这就是报错的核心原因。其实解决方法真的很简单，只需要用VectorAssembler把单个列包装成特征向量就行，具体步骤如下：

步骤1：导入必要的工具类 #

首先要导入Spark的VectorAssembler，它专门用来把单个或多个列转换成算法需要的特征向量：

from pyspark.ml.feature import VectorAssembler

步骤2：将单列转换为特征向量 #

创建VectorAssembler实例，指定输入列是你的price列，输出列命名为features（这个是MLlib算法默认期望的特征列名，用默认名能省不少事）：

# 初始化转换器
assembler = VectorAssembler(inputCols=["price"], outputCol="features")
# 对选中的数据进行转换
assembled_data = assembler.transform(selected)

步骤3：用转换后的数据训练KMeans #

现在assembled_data里有了features列（Vector类型），直接用它来训练就可以了：

clusters = KMeans.train(assembled_data.select("features"), 2, maxIterations=10, initializationMode="random")

更简洁的链式写法 #

如果你喜欢精简代码，也可以把这些步骤串起来：

from pyspark.ml.feature import VectorAssembler

wines = spark.table("dane_nowe_csv")
# 选列+转换一步完成
assembled_data = VectorAssembler(inputCols=["price"], outputCol="features").transform(wines.select("price"))
# 训练模型
clusters = KMeans.train(assembled_data.select("features"), 2, maxIterations=10, initializationMode="random")

为什么要这么做？ #

Spark MLlib的聚类、分类等算法都是为多特征场景设计的，哪怕你只有一个特征，也需要把它包装成Vector类型，这样算法才能识别为合法的特征输入。这算是MLlib的一个基础格式要求，搞懂之后就再也不会踩这个坑啦～

内容的提问来源于stack exchange，提问作者Helosze