如何解读LightGBM模型预测结果？为何返回连续值而非0/1？

我参考示例代码使用LightGBM的LGBMRanker模型，原本预期调用model.predict()时能得到二分类目标的0或1，但实际输出的是连续变量。代码如下：

import numpy as np
import pandas as pd
import lightgbm

df = pd.DataFrame({
    "query_id":[i for i in range(100) for j in range(10)],
    "var1":np.random.random(size=(1000,)),
    "var2":np.random.random(size=(1000,)),
    "var3":np.random.random(size=(1000,)),
    "relevance":list(np.random.permutation([0,0,0,0,0, 0,0,0,1,1]))*100
})

train_df = df[:800]  # 前80%数据
validation_df = df[800:]  # 剩余20%数据

qids_train = train_df.groupby("query_id")["query_id"].count().to_numpy()
X_train = train_df.drop(["query_id", "relevance"], axis=1)
y_train = train_df["relevance"]

qids_validation = validation_df.groupby("query_id")["query_id"].count().to_numpy()
X_validation = validation_df.drop(["query_id", "relevance"], axis=1)
y_validation = validation_df["relevance"]

model = lightgbm.LGBMRanker(
    objective="lambdarank",
    metric="ndcg",
)

model.fit(
    X=X_train,
    y=y_train,
    group=qids_train,
    eval_set=[(X_validation, y_validation)],
    eval_group=[qids_validation],
    eval_at=10,
    verbose=10,
)

model.predict(X_train)

原因分析 #

你使用的LGBMRanker是排序任务专用模型，它的设计目标是输出样本的排序得分，而非分类任务的离散类别标签。LambdaRank作为排序目标函数，会生成连续的相关性得分，用来衡量同组（同一query_id下）样本的相对排序优先级，天生不会输出0/1这类离散值。

解决方案 #

方案1：改用分类模型（推荐） #

如果核心需求是二分类预测，直接替换为LightGBM的分类模型LGBMClassifier，无需设置排序相关的group参数：

# 替换为二分类模型
model = lightgbm.LGBMClassifier(
    objective="binary",
    metric="binary_logloss",
)

model.fit(
    X=X_train,
    y=y_train,
    eval_set=[(X_validation, y_validation)],
    verbose=10,
)

# 可选：输出正类概率或直接输出0/1标签
pred_proba = model.predict_proba(X_train)[:, 1]  # 得到正类的概率值
pred_labels = model.predict(X_train)  # 直接得到0或1的分类结果

方案2：对排序得分做阈值转换（仅需保留排序逻辑时用） #

如果必须基于排序模型得到0/1结果，可以对预测的连续得分设置阈值，将得分映射为分类标签。比如用得分中位数作为分界点：

pred_scores = model.predict(X_train)
# 将得分高于中位数的样本标记为1，低于的标记为0
pred_labels = np.where(pred_scores > np.median(pred_scores), 1, 0)

内容的提问来源于stack exchange，提问作者Tartaglia