Transformer模型处理数值时间序列：是否需嵌入层？

我目前在学习PyTorch的Transformer教程，该教程以字母作为分类数据，因此使用embedding函数提升特征维度。现在我希望将Transformer应用在数值时间序列数据上，目标是预测时间序列中每个点的类别，想请教：这种情况下需要像处理字母那样用Linear函数实现嵌入，还是可以直接输入原始数据无需嵌入？

• 直接输入原始数值时间序列数据并非不可行，但更推荐用nn.Linear层做一次维度映射（类嵌入操作）
• 核心原因有两点：
  1. Transformer的注意力机制需要在高维特征空间中捕捉时序依赖关系，原始数值通常是低维（比如单维度），直接输入会限制模型学习复杂模式的能力
  2. nn.Linear层可以将低维数值映射到和Transformer编码器/解码器适配的特征维度（比如和教程中embedding的维度对齐），让注意力模块能够正常发挥作用
• 补充：如果你的时间序列是多维度的（每个时间点包含多个特征），同样建议先用nn.Linear把特征维度统一到Transformer要求的维度后再输入模型

内容的提问来源于stack exchange，提问作者AppleChoco