PySpark报错IllegalArgumentException：输出列features已存在，求解决方案

报错核心原因 #

这个错误的本质是：你通过VectorAssembler要生成的features列，在当前处理的DataFrame中已经存在，PySpark不允许重复创建同名列。常见触发场景：

• 你的原始TSV文件sleep.tsv本身就包含名为features的列；
• 代码中重复执行了生成features列的操作（比如多次调用assembler.transform()）

直接解决方法 #

方案1：更换VectorAssembler的输出列名 #

如果不想修改原始数据，直接给输出列指定一个新名称，后续流程统一使用这个新列即可：

# 修改VectorAssembler的outputCol参数为未存在的列名
assembler = VectorAssembler(inputCols=input_cols, outputCol="assembled_features")
data_assembled = assembler.transform(data)

# 后续模型训练时，需要指定featuresCol为这个新列
lsvc = LinearSVC(featuresCol="assembled_features", labelCol="label")

方案2：删除原始DataFrame中的冗余features列 #

如果原始数据里的features列对你的训练没有作用，可以直接删除后再执行特征组装：

# 先删除已存在的features列
data = data.drop("features")

# 再执行VectorAssembler操作
assembler = VectorAssembler(inputCols=input_cols, outputCol="features")
data_assembled = assembler.transform(data)

额外修复代码中的其他致命问题 #

你的代码还有两个必须修正的bug，否则即使解决了列冲突也无法运行：

1. 未定义变量new_data：你应该使用处理后的data_assembled来拆分训练测试集，而非未声明的new_data；
2. 未定义变量pipeline：你导入了Pipeline类但未创建实例，需要把预处理步骤和模型组装成Pipeline：

修正后的完整代码片段：

from pyspark.sql import SparkSession
from pyspark.ml.feature import VectorAssembler
from pyspark.ml.classification import LinearSVC
from pyspark.ml import Pipeline
from pyspark.ml.evaluation import MulticlassClassificationEvaluator

# 创建SparkSession
spark = SparkSession.builder.appName("SleepClassification").getOrCreate()

# 加载TSV数据
data = spark.read.csv("sleep.tsv", sep='\t', header=True, inferSchema=True)

input_cols = ["V0", "V1", "V2", "V3", "V4", "V5", "V6", "V7", "V8", "V9", "V10", "V11", "V12"]

# 方案1：更换输出列名解决冲突
assembler = VectorAssembler(inputCols=input_cols, outputCol="assembled_features")
data_assembled = assembler.transform(data)

# 重命名目标列为label
data_assembled = data_assembled.withColumnRenamed("target", "label")

# 拆分训练测试集（修正变量名）
(trainingData, testData) = data_assembled.randomSplit([0.8, 0.2], seed=16)

# 创建Pipeline实例（修正未定义问题）
stages = [assembler, LinearSVC(featuresCol="assembled_features", labelCol="label")]
pipeline = Pipeline(stages=stages)

# 训练模型
model = pipeline.fit(trainingData)

内容的提问来源于stack exchange，提问作者Param A.