回归任务中对数变换后指标解读异常问题求助

你当前的错误在于直接对对数尺度下计算的MAE、MAPE取指数，这是完全错误的——因为这些指标不具备对数变换的线性可还原性质，必须换一种方式计算原始尺度的指标。

问题本质 #

当你对目标变量做对数变换后，模型输出的是log(y_pred)，真实值是log(y_true)：

• 你计算的MAE是对数差的平均绝对值：E[|log(y_pred) - log(y_true)|]，直接取exp(MAE)没有统计学意义，因为exp(E[X]) ≠ E[exp(X)]
• 对数尺度下的MAPE完全偏离了原始定义，MAPE是基于原始价格的百分比误差，不能在对数空间计算

正确的指标计算步骤 #

所有需要业务解读的指标（原始价格尺度的RMSE、MAE、MAPE）都必须在还原预测值到原始尺度后计算，而不是对对数尺度的指标做逆变换。

1. 原始尺度RMSE #

不能直接对对数RMSE取指数，正确做法是先还原每个fold的预测值和真实值，再计算RMSE。如果只是需要相对误差的评估，对数尺度的RMSE本身就是RMSLE（均方对数误差的平方根），可以直接用来比较模型性能，但它无法直接对应原始价格的绝对误差。

2. 原始尺度MAE #

必须先将对数预测值取指数得到原始价格预测值，再和原始真实价格计算平均绝对误差，这才是能代表“平均每个房价预测偏差多少元”的指标。

3. 原始尺度MAPE #

MAPE的定义是(平均绝对误差 / 真实值) * 100%，必须在原始尺度下计算，否则得到的数值没有业务意义。

修改后的代码实现 #

下面是符合要求的交叉验证代码，每个fold都会完成模型训练、预测还原、原始尺度指标计算：

import numpy as np
from sklearn.model_selection import KFold
from sklearn.metrics import mean_squared_error, mean_absolute_error, mean_absolute_percentage_error
import lightgbm as lgb

# 初始化交叉验证器和模型
kf = KFold(n_splits=5, random_state=42, shuffle=True)
lightgbm = lgb.LGBMRegressor(num_leaves=6, max_depth=7, random_state=42, n_estimators=500, objective='regression')

# 存储各fold的指标
rmse_scores = []
mae_scores = []
mape_scores = []

# 遍历每个fold
for train_idx, val_idx in kf.split(train):
    # 划分fold数据
    X_train_fold, X_val_fold = train.iloc[train_idx], train.iloc[val_idx]
    y_train_log_fold, y_val_log_fold = y_train.iloc[train_idx], y_train.iloc[val_idx]
    
    # 训练模型（用对数变换后的目标值）
    lightgbm.fit(X_train_fold, y_train_log_fold)
    
    # 预测并还原到原始价格尺度
    y_pred_log = lightgbm.predict(X_val_fold)
    y_pred = np.exp(y_pred_log)
    y_true = np.exp(y_val_log_fold)  # 还原真实值
    
    # 计算原始尺度下的指标
    rmse_scores.append(np.sqrt(mean_squared_error(y_true, y_pred)))
    mae_scores.append(mean_absolute_error(y_true, y_pred))
    mape_scores.append(mean_absolute_percentage_error(y_true, y_pred))

# 输出平均指标
print('Lightgbm 原始尺度 RMSE %.4f' % np.mean(rmse_scores))
print('Lightgbm 原始尺度 MAE %.4f' % np.mean(mae_scores))
print('Lightgbm 原始尺度 MAPE %.4f' % np.mean(mape_scores))

额外说明 #

• 你之前得到的exp(0.0874)≈1.09并不是真实的MAE，只是对数误差的指数值，没有任何业务解读价值
• 对数变换后的RMSE（RMSLE）可以用来快速比较不同模型的性能，但如果需要汇报给业务方，必须还原到原始尺度的RMSE/MAE/MAPE
• 如果担心还原时的指数运算可能带来的误差，可以考虑使用np.expm1和np.log1p（针对非负目标值），避免数值溢出问题

内容的提问来源于stack exchange，提问作者katharsis