使用XGBRegressor预测汇率时预测值近乎恒定的问题求助

一、核心原因排查方向 #

• 数据本身特征缺失波动或关联性

  • 先检查price列的波动程度：计算df['price'].std()、df['price'].max() - df['price'].min()，如果数值极小，说明汇率本身长期平稳，模型输出恒定值是合理结果；反之如果波动大，说明滞后特征无法捕捉预测信号。
  • 验证滞后特征的正确性：打印df.head(5)确认prior_1_month确实是上一行的price，prior_2_month是上两行的price，避免shift操作导致的错位。
  • 对比训练/测试集分布：计算X_train.describe()、X_test.describe()、y_train.describe()、y_test.describe()，如果测试集的特征或目标分布和训练集差异极大，模型会因无法泛化而输出恒定值（通常是训练集目标的均值）。

• 模型参数设置过于保守

  • XGBoost默认参数（如max_depth=6、learning_rate=0.3、reg_lambda=1）可能对小样本或弱信号场景过于保守，导致模型无法学习到特征与目标的关联，只能输出恒定值。
  • 未使用早停机制：n_estimators=1000可能导致过拟合或欠拟合，早停可以帮助找到最优的树数量。

• 特征维度不足或无效

  • 仅用滞后1、2个月的价格作为特征，对于汇率这种受宏观经济、政策等多因素影响的时间序列来说，特征维度太少，无法提供足够的预测信号。

二、具体解决思路 #

1. 数据与特征层面优化 #

• 补充时间序列特征：

  # 加入移动平均特征
  df['ma_3'] = df['price'].rolling(window=3).mean()
  # 加入一阶差分（环比变化）
  df['diff_1'] = df['price'].diff(1)
  # 加入波动率特征
  df['volatility'] = df['price'].rolling(window=3).std()
  # 处理缺失值
  df = df.dropna()
  # 更新特征集
  x = df[['prior_1_month', 'prior_2_month', 'ma_3', 'diff_1', 'volatility']]
  

• 使用时序交叉验证：替换train_test_split为TimeSeriesSplit，更贴合时间序列的验证逻辑：

  from sklearn.model_selection import TimeSeriesSplit
  tscv = TimeSeriesSplit(n_splits=5)
  for train_idx, test_idx in tscv.split(x):
      X_train, X_test = x.iloc[train_idx], x.iloc[test_idx]
      y_train, y_test = y.iloc[train_idx], y.iloc[test_idx]
      # 模型训练与评估
  

2. 模型参数调整 #

• 调整XGBoost参数，降低保守性，加入早停：

  reg = xgb.XGBRegressor(
      n_estimators=1000,
      learning_rate=0.01,  # 降低学习率，配合多棵树精细学习
      max_depth=8,         # 增大树深度，允许学习更复杂的关系
      reg_alpha=0.1,       # 降低L1正则化
      reg_lambda=0.1,      # 降低L2正则化
      objective='reg:squarederror'
  )
  # 加入早停，避免过拟合
  reg.fit(
      X_train, y_train,
      eval_set=[(X_test, y_test)],
      early_stopping_rounds=50,
      verbose=True
  )
  

• 查看特征重要性：运行xgb.plot_importance(reg)，如果某个特征重要性接近0，可考虑删除，或补充更有效的特征。

3. 代码细节优化 #

• 避免SettingWithCopyWarning：在预测前复制测试集：

  X_test = X_test.copy()
  X_test['predicted_value_ML_1'] = reg.predict(X_test)
  

• 加入模型评估指标，量化性能：

  from sklearn.metrics import mean_absolute_error, r2_score
  mae = mean_absolute_error(y_test, X_test['predicted_value_ML_1'])
  r2 = r2_score(y_test, X_test['predicted_value_ML_1'])
  print(f"MAE: {mae:.4f}, R²: {r2:.4f}")
  

  如果R²接近0，说明模型完全未捕捉到信号，需重点优化特征或数据。

内容的提问来源于stack exchange，提问作者Harry