MulticlassClassificationEvaluator评估随机森林返回结果异常咨询

核心原因 #

MulticlassClassificationEvaluator默认返回整体聚合指标（如加权平均F1），而非单标签分数。逻辑回归的summary()方法内部已默认处理按标签拆分的逻辑，但随机森林的评估需显式配置参数才能输出每个标签的结果。

解决方案 #

1. 配置评估器输出单标签指标 #

针对多分类场景，开启outputMetrics参数并指定返回指标即可获取每个标签的F1分数：

from pyspark.ml.evaluation import MulticlassClassificationEvaluator

# 初始化评估器，指定F1指标并开启单标签输出
evaluator = MulticlassClassificationEvaluator(
    labelCol="label",
    predictionCol="prediction",
    metricName="f1",
    outputMetrics=True
)

# 执行评估，同时获取整体指标和单标签结果
overall_f1, metrics = evaluator.evaluate(trained_model.transform(test_data), returnMetrics=True)

# 输出每个标签的F1分数
label_f1_scores = metrics.byLabel
print(label_f1_scores)  # 返回结构为{标签值: F1分数}的字典

2. 多标签场景改用专用评估器 #

如果是严格的多标签分类（样本可归属多个标签），MulticlassClassificationEvaluator不适用，需使用MultilabelClassificationEvaluator：

from pyspark.ml.evaluation import MultilabelClassificationEvaluator

evaluator = MultilabelClassificationEvaluator(
    labelCol="label",
    predictionCol="prediction",
    metricName="f1Label"  # 按标签计算F1
)

# 获取每个标签的F1分数
label_f1_scores = evaluator.evaluate(trained_model.transform(test_data))

3. 校验预测列格式 #

确保随机森林的prediction列格式符合评估器要求：多分类场景为单个标签值，多标签场景为标签数组。格式不匹配会导致评估器无法拆分标签计算分数。

验证效果 #

执行上述代码后，label_f1_scores会返回与逻辑回归summary()结构一致的单标签F1字典。

内容的提问来源于stack exchange，提问作者FalconX