在PySpark中创建含数值与分类变量的features列问题求助

我太懂你这个困扰了！Spark的VectorAssembler只能处理数值型或者向量型的列，直接把原始分类字符串列扔进去肯定会报错。咱们得按流程先把分类变量处理成可被识别的向量，再和数值变量合并，一步步来：

第一步：完整处理分类变量 #

首先得把分类字符串转成索引值，再把索引转成独热向量——这两步是分类变量进特征向量的必备操作：

from pyspark.ml.feature import StringIndexer, OneHotEncoder, VectorAssembler
from pyspark.ml import Pipeline

# 定义你的分类列和数值列
cat_cols = ["cat_1", "cat_2", "cat_3"]
num_cols = ["num_1", "num_2", "num_3", "num_4"]

# 1. 字符串转索引：把每个分类列的字符串映射成数字索引
indexers = [
    StringIndexer(inputCol=c, outputCol=f"{c}_indexed", handleInvalid="keep") 
    for c in cat_cols
]
# 2. 索引转独热向量：把数字索引转换成稀疏向量（适合机器学习模型）
encoders = [
    OneHotEncoder(inputCol=idx.getOutputCol(), outputCol=f"{c}_encoded") 
    for idx, c in zip(indexers, cat_cols)
]

这里加了handleInvalid="keep"是为了避免遇到训练数据里没出现过的分类值时直接报错，它会把未知值映射到一个额外的索引上。

第二步：合并所有特征列 #

把处理好的分类独热列和原始数值列放到一起，作为VectorAssembler的输入：

# 收集所有要合并的特征列：处理后的分类列 + 数值列
all_feature_cols = [encoder.getOutputCol() for encoder in encoders] + num_cols

# 创建VectorAssembler，生成最终的features列
assembler = VectorAssembler(inputCols=all_feature_cols, outputCol="features")

第三步：用Pipeline串起所有流程 #

单独分步处理容易出错，用Pipeline把索引、编码、合并三步串起来，一次完成所有转换：

# 构建Pipeline，按顺序添加所有处理阶段
pipeline = Pipeline(stages=indexers + encoders + [assembler])

# 拟合你的数据集并生成带features列的新DataFrame
df_with_features = pipeline.fit(your_input_df).transform(your_input_df)

一些额外提示 #

• 如果你用的是Spark 3.x及以上，OneHotEncoder默认会去掉最后一个类别（dropLast=True），这是为了避免共线性问题；如果需要保留所有类别，可以把这个参数设为False。
• 如果你的分类变量本身就是数值型的类别（比如用1/2/3代表不同类别），可以跳过StringIndexer，直接用OneHotEncoder处理。

内容的提问来源于stack exchange，提问作者agrajag_42