TransformedTargetRegressor时间序列差分的索引失效问题求解

核心问题原因 #

你遇到的问题本质是scikit-learn默认会将转换器的输入转换为numpy数组，丢失pandas对象的索引和类方法，导致shift()和索引匹配逻辑失效。

可行实现方案 #

1. 自定义目标转换器 #

继承scikit-learn的基类实现自定义转换器，全程保留pandas的Series结构与datetime索引，同时存储训练阶段的历史y值用于逆变换匹配：

import pandas as pd
import numpy as np
from sklearn.base import BaseEstimator, TransformerMixin

class YearOverYearTransformer(BaseEstimator, TransformerMixin):
    def __init__(self, freq="1Y"):
        self.freq = freq
        self.historical_y = None
    
    def fit(self, y, X=None):
        if not isinstance(y, pd.Series) or not isinstance(y.index, pd.DatetimeIndex):
            raise ValueError("输入目标y必须为带Datetime索引的pandas Series")
        # 存储当前训练折的历史y值，无数据泄露风险
        self.historical_y = y.copy()
        return self
    
    def transform(self, y):
        # 计算同比变化率，自动保留索引
        y_lag = y.shift(freq=self.freq)
        return (y - y_lag) / y_lag
    
    def inverse_transform(self, y_trans, X=None):
        if X is None or not isinstance(X.index, pd.DatetimeIndex):
            raise ValueError("逆变换需要传入带Datetime索引的特征X，用于匹配时间滞后值")
        # 根据预测样本的索引取对应上一年的历史y值
        lag_dates = X.index - pd.DateOffset(years=1)
        y_lag = self.historical_y.reindex(lag_dates).values
        # 执行逆变换得到原始尺度的预测结果
        return y_trans * y_lag + y_lag

2. 整合到Pipeline与交叉验证流程 #

from sklearn.compose import TransformedTargetRegressor
from sklearn.pipeline import Pipeline
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import TimeSeriesSplit

# 自定义特征处理Pipeline，可按需加入标准化、特征编码等步骤
base_reg = Pipeline([
    ("model", RandomForestRegressor())
])

# 封装带目标变换的回归器
model = TransformedTargetRegressor(
    regressor=base_reg,
    transformer=YearOverYearTransformer(freq="1Y"),
    check_inverse=False # 关闭默认逆变换检查，适配需要传入X的自定义逆变换逻辑
)

# 时间序列专用交叉验证，禁止使用随机拆分避免数据泄露
tscv = TimeSeriesSplit(n_splits=5)
# 假设X为带Datetime索引的特征集，y为带Datetime索引的目标序列
for train_idx, test_idx in tscv.split(X):
    X_train, X_test = X.iloc[train_idx], X.iloc[test_idx]
    y_train, y_test = y.iloc[train_idx], y.iloc[test_idx]
    model.fit(X_train, y_train)
    # 预测时自动执行逆变换，直接返回原始尺度的预测值
    y_pred = model.predict(X_test)
    # 可直接用y_pred与y_test计算评估指标

3. 关键注意事项 #

• 特征X与目标y必须统一设置为连续的Datetime类型索引，禁止使用默认整数索引
• 如果使用低版本scikit-learn，可在转换器的transform方法中手动将返回值包装为带原始索引的pd.Series，避免被强制转换为numpy数组
• 若出现滞后值匹配为空的情况，优先检查数据索引是否存在缺失时间点，或验证集的滞后时间是否超出当前训练折的时间范围

内容的提问来源于stack exchange，提问作者pr3d1ct0r