Spark加载MongoDB数据集后无法对score列执行KMeans聚类求助

你遇到的java.lang.IllegalArgumentException: 列score的数据类型StringType不受支持错误，核心原因很明确：Spark的KMeans聚类算法只接受数值类型的特征数据，但你从MongoDB加载的score列是字符串类型，VectorAssembler无法将字符串转换成算法需要的特征向量，所以抛出了这个异常。

咱们一步步来修正这个问题：

步骤1：转换score列的类型为数值型 #

首先需要把String类型的score列转换成Double类型（如果你的分数是整数，也可以用IntegerType，但Double更通用）。这里推荐用try_cast函数，它会自动处理转换失败的行（返回null），避免程序直接崩溃。

步骤2：正确使用VectorAssembler生成特征向量 #

转换类型后，再用VectorAssembler把score列转换成features列，这才是KMeans能识别的输入格式。

步骤3：用处理后的DataFrame训练模型 #

注意：训练KMeans模型时，要传入带features列的DataFrame，而不是原始的只包含score列的数据集。

修改后的完整代码 #

public static void main(String[] args) { 
    JavaSparkContext jsc = new JavaSparkContext(spark.sparkContext()); 
    JavaMongoRDD<Document> rdd = MongoSpark.load(jsc); 
    Dataset<Row> df = rdd.toDF(); 

    // 关键步骤：将String类型的score列转换为Double类型，处理转换失败的情况
    Dataset<Row> dataset = df.withColumn("score", functions.try_cast(df.col("score"), DataTypes.DoubleType))
                            .select("score")
                            // 可选：过滤掉转换失败的null值，避免影响聚类效果
                            .filter(df.col("score").isNotNull()); 
    dataset.show(); 

    VectorAssembler assembler = new VectorAssembler() 
            .setInputCols(new String[]{"score"}) 
            .setOutputCol("features"); 
    Dataset<Row> vectorized_df = assembler.transform(dataset); 
    vectorized_df.show(); 

    KMeans kmeans = new KMeans().setK(2).setSeed(1L); 
    // 用带features列的vectorized_df训练模型，而不是原始dataset
    KMeansModel model = kmeans.fit(vectorized_df); 
    Dataset<Row> predictions = model.transform(vectorized_df); 
    predictions.show();
}

关键修改点说明 #

• functions.try_cast(df.col("score"), DataTypes.DoubleType)：安全地将字符串转成Double类型，转换失败时返回null。
• .filter(df.col("score").isNotNull())：可选但推荐，过滤掉转换失败的行，避免这些无效数据干扰聚类结果。
• 训练和预测时使用vectorized_df：因为KMeans需要读取features列作为输入特征。

内容的提问来源于stack exchange，提问作者sabrine