如何用sklearn.ndcg_score计算NDCG？解决结果偏差及无标签等问题

问题1：召回结果无真实标签时如何计算NDCG？ #

• NDCG的核心依赖真实相关性标签，它通过对比「实际排序的DCG值」和「理想最优排序的IDCG值」来衡量排序质量。没有真实标签的话，根本无法定义“哪些文档相关”以及“最优排序应该是什么样”，因此无法计算NDCG。必须先为召回结果及所有相关文档标注真实相关度（比如0=不相关、1=相关、2=高度相关等）才能进行计算。

问题2：给定相关文档与搜索结果，如何用sklearn计算NDCG？ #

以你给出的场景（单查询）为例，步骤如下：

1. 构造真实标签数组（y_true）：
   把所有涉及的文档（搜索结果里的10个文档+未被召回的相关文档b、c）列出来，每个文档对应真实相关度：a、b、c为1，其余文档为0。格式为二维数组（适配sklearn多查询输入要求）：

   y_true = [[1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0]]  # 文档顺序：a, b, c, d, e, f, g, h, i, j, k
   

2. 构造预测分数数组（y_score）：
   预测分数要严格对应你的搜索结果排序：搜索结果中的a排第1，给最高分数；d到k依次给递减分数；未被召回的b、c给最低分数（确保它们排序在10名之后）。示例：

   y_score = [[9, 0, 0, 8, 7, 6, 5, 4, 3, 2, 1, 0]]
   

3. 调用ndcg_score计算NDCG@10：
   指定参数k=10，代码如下：

   from sklearn.metrics import ndcg_score
   y_true = [[1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0]]
   y_score = [[9, 0, 0, 8, 7, 6, 5, 4, 3, 2, 1, 0]]
   ndcg_result = ndcg_score(y_true, y_score, k=10)
   print(ndcg_result)  # 输出约0.4692
   

问题3：预测分数包含正负值时如何处理？ #

• sklearn的ndcg_score只关心预测分数的相对排序，完全不关心分数的正负或绝对值大小。只要分数的大小关系和你期望的文档排序一致即可：比如你认为文档X比Y更相关，那么X的预测分数只要比Y高（不管是正还是负），就不会影响计算结果。
• 举个例子：如果真实标签是[1,0,0]，分数[-1, -2, -3]对应的排序是X在前、Y和Z在后，这时候NDCG会很高；但如果分数是[-3, -2, -1]，排序反过来，NDCG就会很低——核心是分数排序要匹配真实相关度的排序，和正负无关。

解决sklearn与pytrec_eval结果不一致的问题 #

你得到sklearn输出1.0的原因是未将未被召回的相关文档（b、c）纳入候选集合：

• 默认情况下，sklearn的ndcg_score只会基于你传入的候选文档计算IDCG：如果你的y_true只包含搜索结果的10个文档（仅a为1，其余为0），那么理想排序就是把a放在第一位，此时DCG@10等于IDCG@10，结果自然为1.0。
• 而pytrec_eval会考虑所有相关文档（即使未被召回），IDCG@10是把3个相关文档（a、b、c）排在前三位的最优DCG值（计算式：1/log2(2) + 1/log2(3) + 1/log2(4) ≈ 2.1309），实际DCG@10只有a的贡献（1/log2(2)=1），因此NDCG=1/2.1309≈0.4692。
• 要对齐两个工具的结果，必须把未被召回的相关文档加入y_true和y_score，让sklearn能计算到完整的IDCG@10，具体代码可参考问题2中的示例。

内容的提问来源于stack exchange，提问作者Liyang Fan