如何在多分类任务中使用NDCG？代码报错求解决

报错原因 #

你当前传入的是单标签多分类格式（每个样本仅一个真实标签、一个预测标签），但ndcg_score不支持这种格式。它要求输入必须是：

• 真实标签：多标签指示矩阵（每个样本对应所有类别的相关性，真实类别为1，其余为0）
• 预测结果：每个样本对应所有类别的得分（比如分类器输出的类别概率、排序分数）

解决方案步骤 #

1. 转换真实标签为多标签指示矩阵 #

将单个真实标签转换为长度等于类别总数（21个，0-20）的数组，真实标签位置设为1，其余为0。

2. 准备预测得分（而非单个预测标签） #

NDCG用于评估排序性能，需要模型输出每个样本对所有类别的得分（比如predict_proba输出的类别概率），而非单个预测标签。如果只有预测标签，需模拟或获取完整的类别得分。

完整代码示例 #

from sklearn.metrics import ndcg_score
from sklearn.preprocessing import OneHotEncoder
import numpy as np

# 定义类别总数（0-20共21个）
num_classes = 21

# 原始真实标签和预测标签
true_labels = np.array([3, 2, 15, 7, 4])
pred_labels = np.array([2, 1, 17, 9, 6])

# 步骤1：转换真实标签为多标签指示矩阵
encoder = OneHotEncoder(categories=[np.arange(num_classes)], sparse_output=False)
true_matrix = encoder.fit_transform(true_labels.reshape(-1, 1))

# 步骤2：准备预测得分（这里模拟模型predict_proba的输出，让预测标签对应得分最高）
predict_scores = np.random.rand(len(true_labels), num_classes)
for idx, label in enumerate(pred_labels):
    predict_scores[idx, label] = 1.0  # 确保预测标签的得分最高

# 计算NDCG
ndcg = ndcg_score(true_matrix, predict_scores)
print(f"NDCG得分: {ndcg}")

关键说明 #

• 若使用实际分类模型，直接用model.predict_proba(X)替代模拟的predict_scores即可，这是模型对每个类别的概率估计，能反映排序情况。
• 单标签多分类场景下，NDCG衡量的是模型将真实类别排在所有类别前列的能力，必须依赖完整的类别得分，而非单个预测标签。

内容的提问来源于stack exchange，提问作者user3104352