PySpark使用VectorAssembler遇array<string>不支持错误的解决求助

问题分析 #

你的temp列是字符串格式的二维数组，直接用F.split(F.col("temp"), "\\[]")拆分无法得到正确的数值数组，反而生成了字符串类型的数组，而VectorAssembler只支持数值型列或能转换为向量的结构，因此报错。另外直接转整数得到null是因为字符串格式不符合转换要求（包含方括号和嵌套结构）。

解决方案步骤 #

我们需要先将嵌套字符串解析为二维整数数组，再展平为一维数组，最后转换为Spark ML所需的Vector类型：

1. 清理字符串并拆分子数组：去除首尾方括号，拆分每个子数组字符串
2. 将子数组字符串转为整数数组：清理每个子数组的方括号，拆分逗号并转整数
3. 展平二维数组为一维数组：KNN聚类需要一维特征向量
4. 将一维数组转为ML Vector：使用自定义UDF完成转换

完整代码实现 #

from pyspark.sql import functions as F
from pyspark.ml.linalg import Vectors, VectorUDT
from pyspark.sql.functions import udf

# 1. 解析嵌套字符串为二维整数数组
df_parsed = df.select(
    "id",
    # 去除首尾的[[和]]，得到"[20,29,...],[26,...]"格式的字符串
    F.expr("substring(temp, 2, length(temp)-2)").alias("temp_cleaned")
).select(
    "id",
    # 按"],["拆分每个子数组字符串
    F.split(F.col("temp_cleaned"), "\\],\\[").alias("sub_arrays")
).select(
    "id",
    # 对每个子数组字符串，去除[]，拆分逗号并转为整数数组
    F.transform(
        F.col("sub_arrays"),
        lambda x: F.split(F.regexp_replace(x, "\\[|\\]", ""), ",").cast("array<int>")
    ).alias("temp_2d_array")
)

# 2. 展平二维数组为一维数组
df_flattened = df_parsed.select(
    "id",
    F.flatten(F.col("temp_2d_array")).alias("temp_1d_array")
)

# 3. 定义UDF将一维数组转为ML Vector
array_to_vector = udf(lambda arr: Vectors.dense(arr), VectorUDT())

# 4. 生成特征向量
df_vect = df_flattened.select(
    "id",
    array_to_vector(F.col("temp_1d_array")).alias("temperature_vector")
)

# 查看结果Schema
df_vect.printSchema()

关键说明 #

• 字符串清理：使用substring去除首尾的[[和]]，再用split("\\],\\[")拆分出每个子数组的字符串，这是正确解析嵌套结构的核心。
• 数组转换：通过transform函数遍历每个子数组，用regexp_replace去掉方括号，再拆分逗号并转为整数数组，避免了直接转换导致的null值。
• 展平数组：KNN聚类要求每个样本对应一个一维特征向量，因此用flatten将二维数组转为一维。
• Vector转换：Spark ML的VectorAssembler适用于多列合并为向量，单个数组转向量需要自定义UDF，利用Vectors.dense将数值数组转为稠密向量。

后续KNN聚类使用 #

得到temperature_vector列后，即可直接用于KNN聚类（以KMeans为例）：

from pyspark.ml.clustering import KMeans

kmeans = KMeans(k=3, featuresCol="temperature_vector", predictionCol="cluster")
model = kmeans.fit(df_vect)
clustered_df = model.transform(df_vect)

内容的提问来源于stack exchange，提问作者Adin