多Embedding层接入LSTM的两种方案优劣探讨

针对分类特征序列的分类任务，先明确两种方案的核心逻辑：

• 方案一：每个分类特征的Embedding层后接独立LSTM层，最后合并各LSTM的输出完成分类
• 方案二：将所有分类特征的Embedding向量拼接后，输入到单个LSTM层，用其最后隐藏状态完成分类

方案合理性对比 #

方案二在绝大多数场景下更优、更合理，原因如下：

1. 参数效率更高：独立LSTM会为每个特征序列维护一套独立的门控参数（输入门、遗忘门、输出门），当分类特征数量较多时，参数规模会呈线性增长，极易导致过拟合，尤其是在训练数据量有限的场景下。而单个LSTM共享一套门控参数，能有效控制模型复杂度。
2. 特征交互更自然：分类特征之间往往存在关联（比如用户行为序列中的“浏览品类”和“点击动作”），拼接Embedding后输入单个LSTM，模型能在序列建模过程中自动学习特征间的时序交互关系；而独立LSTM各自建模单个特征的时序信息，后续的合并步骤很难充分捕捉跨特征的关联。
3. 工程实现更简洁：单LSTM方案的模型结构更紧凑，训练、部署和调试的成本更低，这也是它成为主流方案的现实原因。

方案一不受青睐的核心原因 #

方案一之所以少见，本质是它的适用场景极窄，且存在明显的设计缺陷：

• 场景局限性：只有当所有分类特征的时序逻辑完全独立、彼此不存在任何关联时，独立LSTM才有理论价值，但这种场景在实际业务中几乎不存在。
• 信息割裂问题：独立LSTM各自处理单一特征序列，无法建模跨特征的时序依赖，而这类依赖往往是分类任务中最关键的信号（比如电商场景中“搜索关键词”→“浏览商品”→“下单”的跨特征时序链）。
• 过拟合风险高：多LSTM带来的大量冗余参数，在数据量不足时会快速拟合训练数据中的噪声，泛化能力极差。

内容的提问来源于stack exchange，提问作者Любовь Пономарева