无法理解Sentdex机器学习教程中线性回归预测相关代码逻辑
逐行代码设计意图拆解
1. 标签生成阶段:df['label'] = df[forecast_col].shift(-forecast_out)
这行是整个流程的核心标签生成逻辑,依赖pandas的shift()机制实现:
- 常规正向
shift(n)是将列数据向下平移n行,也就是当前行的值取的是n行之前的历史数据;传入负数shift(-n)则是将列数据向上平移n行,当前第i行的label列存储的内容,是第i+n行的forecast_col值。
举个具象例子:如果forecast_out=5,那第100行的label,对应的就是第105行的目标列数值。这种设计完全匹配时间序列监督学习的要求:用当前时间点的所有特征,对应未来n个时间步的目标值,实现“预测未来n天”的建模目标。 - 这个操作执行完后,数据末尾的n行的label列会自动填充NaN——因为最靠后的几行不存在更靠后的行可以向上平移填充,这部分空值就是后面要处理的无标签样本。
2. 特征矩阵X的全量处理流程
X = np.array(df.drop(['label'],1)) X = preprocessing.scale(X) X = X[:-forecast_out] X_lately = X[-forecast_out:]
每一步的设计意图:
X = np.array(df.drop(['label'],1)):把带label列的完整DataFrame中label列去掉,将剩余所有特征列(如股票价格、成交量等原始特征)转换为numpy数组,得到全量原始特征矩阵。X = preprocessing.scale(X):对全量特征做标准化处理,将所有特征缩放到均值为0、方差为1的分布,消除不同特征量纲差异(比如股价数值在几十到几百区间,成交量数值在几十万到几千万区间)对线性回归模型的干扰。这里在全量特征上一次性完成标准化,是为了让后续用来预测的无标签样本和训练样本使用完全一致的标准化参数,避免参数不一致带来的预测偏差,也不会产生数据泄露问题。X = X[:-forecast_out]:将标准化后的全量特征矩阵,砍掉最后forecast_out行,剩余部分的样本数刚好和带有效标签的样本数完全对齐——因为之前生成label时,只有总长度减去forecast_out的那部分行是有有效标签的,这部分就是用来训练模型的输入特征。X_lately = X[-forecast_out:]:单独把刚才砍掉的最后forecast_out行的无标签特征存为独立变量,这部分就是模型训练完成后,用来输出未来n天预测结果的输入样本。
3. 标签向量y的处理流程
df.dropna(inplace=True) y = np.array(df['label']) y = np.array(df['label'])
每一步的设计意图:
df.dropna(inplace=True):把之前生成label时产生的所有含NaN的空值行直接从DataFrame中删除,留存下来的样本全部是“特征完整、对应有效未来标签”的合格训练样本。- 重复写两次
y = np.array(df['label'])是原教程代码的笔误,本质操作就是把处理完空值的DataFrame中的label列转换为numpy数组,作为模型训练的标签值,长度和之前切分好的训练用X完全匹配,不会出现样本数不对齐的报错。
整体逻辑闭环:
- 通过反向平移的方式快速构造时间序列监督学习的标签,实现“当前特征预测未来n天值”的目标
- 提前把最后n行无标签的预测输入特征单独留存,避免和训练样本混淆
- 在全量特征上一次性完成标准化,保证训练样本和预测样本的处理规则完全统一
- 删除空值后保证训练用X和y的样本数严格对齐,顺利完成模型训练
内容的提问来源于stack exchange,提问作者user10626935
相关产品推荐
相关产品推荐

