使用XGBoost构建LambdaMART排序模型时NDCG为0/NaN问题求助

核心问题排查与修复 #

1. 训练数据分组逻辑完全错误 #

排序任务中，group参数需要传入每个query对应的样本数量列表，目的是告诉模型哪些样本属于同一个排序任务（同一个query下的passage）。但你的代码在训练数据处理上犯了致命错误：

• 错误地将qid和pid拼接成query_passage_id并分组，导致每个样本被单独成组（每个query_passage_id唯一）。
• 后续计算groups_train时又按qid+pid分组，最终得到的groups_train全是1，每个query下只有1个样本。这种情况下模型无法学习任何排序规则，因为没有可比较的样本对，直接导致NDCG计算异常。

修复方法：
删除错误的query_passage_id分组步骤，直接按qid统计每个query的样本数：

# 训练集groups计算：每个qid对应的样本数量
groups_train = data_train.groupby('qid').size().values

# 训练集特征和标签直接从原始df提取，无需额外分组
X_train = data_train.drop(['qid', 'pid', 'relevancy'], axis=1)
y_train = data_train['relevancy']

2. 评分函数参数错误 #

你使用make_scorer时设置了needs_proba=True，但XGBRanker的predict方法输出的是排序分数而非概率，predict_proba方法并不适用于排序任务。这个错误会导致scorer无法获取正确的预测值，进而计算出NaN。

修复方法：
将needs_proba改为False：

scoring = {'NDCG': make_scorer(ndcg_score, greater_is_better=True, needs_proba=False)}

3. 代码冗余与变量错误 #

• 代码中存在重复的grid_search.fit调用，第一次调用使用了未定义的X和y，属于无效代码，应删除。
• 数据处理时data_grouped = data.groupby(...)中的data应为data_train，否则会导致训练数据来源错误。

4. 标签数据合理性检查 #

如果上述修复后仍有问题，需要检查relevancy标签：

• 是否存在某个query下所有样本的relevancy完全相同？这种情况NDCG为1（如果标签非0）或0（如果标签全0）。
• 是否relevancy全为0？此时NDCG必然为0。
• 标签是否为合理的离散等级（如0-3），排序任务依赖标签的相对大小来学习排序规则。

修复后的核心代码示例 #

# 训练数据处理
data_train = df
# 直接按qid统计每个query的样本数
groups_train = data_train.groupby('qid').size().values
# 提取特征和标签
X_train = data_train.drop(['qid', 'pid', 'relevancy'], axis=1)
y_train = data_train['relevancy']

# 验证数据处理
X_val = df_val.drop(['qid', 'pid', 'relevancy'], axis=1)
y_val = df_val['relevancy']
groups_val = df_val.groupby('qid').size().values

# 模型定义与调参
model = xgb.XGBRanker(objective='rank:pairwise')
param_grid = {
    'n_estimators': [50, 100, 150],
    'learning_rate': [0.01, 0.05, 0.1],
    'max_depth': [3, 5, 7]
}
# 修正scorer参数
scoring = {'NDCG': make_scorer(ndcg_score, greater_is_better=True, needs_proba=False)}
grid_search = GridSearchCV(model, param_grid=param_grid, cv=5, scoring=scoring, refit='NDCG', verbose=3)
grid_search.fit(X_train, y_train, group=groups_train, eval_set=[(X_val, y_val)], eval_group=[groups_val])

# 输出结果
print(f"Best hyperparameters: {grid_search.best_params_}")
print(f"Best score: {grid_search.best_score_}")

内容的提问来源于stack exchange，提问作者LimeFire