如何基于深度学习构建全局通用时间序列预测模型？

一、仅用待预测变量滞后值的模型可行性 #

1. CNN-LSTM 模型 #

• 原理：结合CNN的局部特征提取能力与LSTM的时序建模优势。CNN先从时间序列的滑动窗口中捕捉短期波动、周期性等局部模式，再将提取的特征序列输入LSTM，学习长期时序依赖关系，最终输出预测值。
• 数据结构：将所有时间序列统一处理为固定长度的滞后窗口样本。每个样本维度为(时间步长, 特征数)，这里特征数=1（仅包含待预测变量的滞后值）。假设窗口大小为T，那么对于任意时间序列的第t时刻，输入为[x_{t-T}, x_{t-T+1}, ..., x_{t-1}]，输出为x_t。训练时将所有序列的这类样本混合，作为统一训练集。

2. LSTMGC（带门控卷积的LSTM）模型 #

• 原理：在LSTM基础上引入门控卷积层，门控机制可自适应筛选卷积提取的局部特征，同时保留LSTM对长期时序的建模能力，相比普通CNN-LSTM更灵活地平衡局部与全局时序信息。
• 数据结构：与CNN-LSTM一致，基于固定长度的滞后窗口构建单特征时序样本，所有序列的样本混合训练，模型通过学习不同序列的共性时序模式，实现对未见过序列的预测。

二、加入分类变量的必要性及对应方案 #

1. 是否需要加入分类变量？ #

需要。分类变量（如地区、产品类型）能提供序列间的差异信息，帮助模型区分不同序列的固有模式（比如南北方空调销量的季节性差异），既可以提升预测精度，还能增强模型解释性——通过分析分类变量的嵌入权重，可直观看出不同类别对预测值的影响程度。

2. 模型原理与数据结构 #

典型结构：嵌入层+时序特征提取层+融合层+预测头

• 嵌入层：将离散分类变量（如地区ID、产品类型ID）转换为低维连续向量，解决离散类别无法直接输入模型的问题，同时学习类别间的语义关联（如同属华东地区的省份嵌入向量更接近）。

• 时序特征提取层：用LSTM/CNN-LSTM提取待预测变量滞后值的时序特征。

• 融合层：将分类变量的嵌入向量与时序特征融合（如拼接、加和或注意力加权融合），让模型同时考虑类别特性与时序模式。

• 预测头：全连接层，输出最终预测值。

• 数据结构：每个样本包含两部分：

  • 时序输入：(时间步长, 1)，即待预测变量的滞后窗口
  • 分类输入：离散类别ID（如地区编码：0,1,2...；产品类型编码：0,1...）
    训练时每个样本同时携带两类输入，模型联合学习类别嵌入与时序模式。

三、通用多时间序列预测的深度学习方法论 #

1. 典型ANN结构 #

除上述模型外，还有以下常用结构：

• Transformer衍生模型：用自注意力机制捕捉长距离时序依赖，加入类别嵌入后适配多序列场景（如TimeSeriesTransformer）。
• N-BEATS：基于全连接层的堆叠结构，通过分解趋势、季节等组件实现预测，可将类别特征作为条件输入。
• Temporal Fusion Transformer (TFT)：专为多变量、多序列预测设计，支持类别特征、静态特征、时序特征的融合，自带注意力权重、特征重要性等解释性模块。

2. 数据准备要点 #

• 序列对齐与标准化：对所有时间序列做标准化处理（如Z-score标准化，基于每个序列自身的均值和标准差，避免不同序列量级差异的影响）；序列长度不同时，采用滑动窗口采样统一样本长度。
• 样本构建：用滑动窗口法生成训练样本，窗口大小根据序列周期特性设置（如日销售序列窗口设为7或30）；未见过的序列需用相同窗口大小生成预测输入。
• 分类变量处理：对离散类别做标签编码（避免独热编码导致的维度爆炸），再输入嵌入层；高基数类别（如上千个地区）可采用分层嵌入或哈希嵌入降低维度。
• 数据集划分：按时间划分训练集、验证集、测试集（禁止随机划分），确保验证和测试集的时间在训练集之后，模拟真实预测场景；多序列需保证每个序列的时间划分逻辑一致。

3. 训练方法 #

• 损失函数：回归任务常用MSE（均方误差）、MAE（平均绝对误差）；存在异常值时，可采用Huber Loss平衡MSE与MAE的特性。
• 优化器：优先选择Adam，学习率可采用余弦退火或学习率调度器动态调整。
• 正则化：加入Dropout层（针对全连接层）、递归Dropout（针对LSTM）防止过拟合；对嵌入层加入L2正则化，避免类别嵌入过度拟合。
• 迁移与泛化：先在大规模多序列数据集上预训练，再针对特定小序列做微调；对未见过的序列，可采用少量样本快速适配（Few-shot学习）。
• 评估指标：除MSE、MAE外，还可使用MAPE（平均绝对百分比误差，适合业务场景解读）、SMAPE（对称平均绝对百分比误差，避免零值影响）。

内容的提问来源于stack exchange，提问作者David Díaz