为何XGBoost无法预测简单正弦函数？测试集预测异常问询

问题背景 #

我创建了一个简单函数用于测试XGBoost：

• X是包含1000行的数组，取值为从0到7π的线性序列
• Y的取值为1 + 0.5*np.sin(x)
• 将数据集划分为800行训练集和200行测试集，设置shuffle=False以模拟未来时序场景，确保最后200行留作测试集

测试代码如下：

import numpy as np
from sklearn.model_selection import train_test_split
from matplotlib import pyplot as plt 
from sklearn.metrics import mean_squared_error as MSE
from xgboost import XGBRegressor

N = 1000                       # 1000 rows
x = np.linspace(0, 7*np.pi, N) # Simple function
y = 1 + 0.5*np.sin(x)          # Generate simple function sin(x) as y

# Train-test split, intentionally use shuffle=False to simulate time series
X = x.reshape(-1,1)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.20, shuffle=False)
### Interestingly, model generalizes well if shuffle=False
#X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.20, shuffle=False)

XGB_reg = XGBRegressor(random_state=42)
XGB_reg.fit(X_train,y_train)

# EVALUATE ON TRAIN DATA
yXGBPredicted = XGB_reg.predict(X_train)
rmse = np.sqrt(MSE(y_train, yXGBPredicted))
print("RMSE TRAIN XGB: % f" %(rmse))

# EVALUATE ON TEST DATA
yXGBPredicted = XGB_reg.predict(X_test)
# METRICAS XGB
rmse = np.sqrt(MSE(y_test, yXGBPredicted))
print("RMSE TEST XGB: % f" %(rmse))

# Predict full dataset
yXGB = XGB_reg.predict(X)

# Plot and compare
plt.style.use('fivethirtyeight')
plt.rcParams.update({'font.size': 16})
fig, ax = plt.subplots(figsize=(10,5))
plt.plot(x, y)
plt.plot(x, yXGB)
plt.ylim(0,2)
plt.xlabel("x")
plt.ylabel("y")
plt.show()

基于前800行训练模型后预测后200行，原本预期测试集RMSE表现良好，但实际XGBoost在测试集的所有预测行中均重复了训练集的最后一个值（见下图）：

原因分析 #

这种现象是XGBoost等树基模型在时序外推场景中的典型表现，核心原因有三点：

1. 树模型的本质限制
   XGBoost是基于决策树的集成模型，它只能在训练数据的特征取值范围内做插值预测，完全无法对超出训练集特征范围的数据进行外推。你的训练集X的最大值对应前800行的最后一个值，而测试集的X值全部大于这个最大值，属于模型训练时从未接触过的特征区间。

2. 叶节点的预测逻辑
   当模型遇到超出训练特征范围的输入时，会沿着决策树的分裂路径走到最右侧的叶节点（因为所有分裂条件都不满足），而这个叶节点的预测值是该分支下训练样本的均值——在这个场景下，结果近似训练集最后一个样本的y值。

3. 未适配时序数据特性
   普通的XGBRegressor是为通用回归场景设计的，没有考虑时序数据的连续性和趋势性。如果要处理时序外推任务，需要做针对性调整：

   • 改用支持时序外推的模型，比如ARIMA、Prophet
   • 加入滑动窗口特征（比如用前n个时间步的y值作为输入），让模型学习序列的变化规律
   • 调整XGBoost参数，比如限制树深，避免过拟合到训练集的局部值

内容的提问来源于stack exchange，提问作者Marcelo Sacomori