使用Word Embeddings向量化文档时为何仍需神经网络做文本分类？

为什么不能直接用余弦相似度+最近邻做分类？ #

• 效率与规模瓶颈：当标注数据集达到上万甚至百万级规模时，计算新文档与所有已标注样本的余弦相似度是线性时间复杂度，完全无法满足实时分类的需求。而神经网络训练完成后，单样本分类仅需一次前向计算，速度快几个数量级。
• 语义信息严重丢失：简单的文档向量化（比如平均词嵌入）会丢掉词序、上下文依赖和关键信息的权重。比如“我很喜欢这部电影，但结局太糟了”和“我很讨厌这部电影”的平均词嵌入相似度可能不低，但实际类别完全相反；反讽、否定这类复杂语义也没法靠平均词嵌入准确表达，导致余弦相似度的参考价值极低。
• 泛化与抗噪能力不足：最近邻完全依赖训练数据的分布，遇到没见过的样本（分布外数据）很容易出错；如果训练集里有错误标注的样本，最近邻大概率会被这些噪声带偏。而神经网络能从大量数据中学到共性特征，对噪声和新样本的鲁棒性强得多。
• 类别边界无法精准划分：很多分类任务的类别边界不是“语义相似”就能界定的。比如情感分类里，中性评价和轻微负面评价语义接近但类别不同；领域分类中，同一主题的文档可能分属不同细分领域。这些细微差异是余弦相似度捕捉不到的。

为什么需要神经网络来完成分类？ #

• 建模复杂语义关系：神经网络能捕捉词嵌入本身没法提供的序列信息。比如CNN可以提取局部语义块，LSTM能处理长距离上下文依赖，Transformer的注意力机制可以自动聚焦文档中对分类最关键的内容，生成的特征比简单文档向量精准得多。
• 生成任务专属特征：词嵌入是通用的语义表示，而神经网络在训练时会把通用词嵌入转换成适配当前分类任务的专属特征。比如情感分类中，模型会着重关注“惊艳”“踩雷”这类情感词汇，弱化无关的通用词汇，让特征更贴合分类需求。
• 端到端优化能力：神经网络可以通过反向传播直接优化分类损失，不断调整特征表示和分类逻辑，让准确率逐步提升。而余弦相似度+最近邻没有优化空间，完全依赖初始的词嵌入和向量化方式，性能上限很低。

内容的提问来源于stack exchange，提问作者Tejas_hooray