Pyspark2.4.5训练MultilayerPerceptronClassifier触发OneHotEncoderModel异常

异常原因 #

你遇到的requirement failed: OneHotEncoderModel expected x categorical values for input column label, but the input column had metadata specifying n values.异常，核心是标签列的元数据中记录的分类数量，和实际数据中标签列包含的分类数量不一致。

不同分类器表现差异的原因 #

RandomForestClassifier、DecisionTreeClassifier、GBTClassifier、LinearSVC这几类模型，训练时直接读取标签实际值做分类逻辑处理，不会强制校验标签列的元数据与实际值是否匹配，因此元数据错误不会影响运行。
而PySpark 2.4.5版本的MultilayerPerceptronClassifier（多层感知机分类器）内部会默认对标签列做OneHot编码，OneHotEncoderModel执行时会严格校验列元数据声明的分类数和实际数据的分类数，二者不匹配就会抛出该异常。

解决方案 #

• 方案1：重新生成带正确元数据的标签列
  使用StringIndexer重新对原始标签列做编码，自动覆盖旧的错误元数据，示例代码如下：

from pyspark.ml.feature import StringIndexer
# 替换inputCol为你原始标签列的列名
label_indexer = StringIndexer(inputCol="raw_label", outputCol="label", handleInvalid="keep")
processed_df = label_indexer.fit(original_df).transform(original_df)

• 方案2：手动清除标签列的错误元数据
  如果不需要重新编码标签，可以直接重置标签列的元数据，让OneHotEncoder自动识别实际分类数：

processed_df = original_df.withColumn("label", original_df["label"].cast("double").alias("label", metadata={}))

• 方案3：升级PySpark版本
  该问题为PySpark 2.x版本MLP实现的已知问题，3.0及以上版本优化了MLP的标签处理逻辑，移除了强制的OneHot编码校验，相同场景下不会抛出该异常。

内容的提问来源于stack exchange，提问作者Avinash Navlani