关于doc2vec/word2vec中NLP预处理的技术疑问

背景 #

多篇研究word embedding与document embedding（如word2vec、doc2vec）的论文提及使用Stanford CoreNLP框架进行文本预处理：

语料通过Stanford CoreNLP（Manning等人，2014）进行词形还原与词性标注，每个token替换为其词元（lemma）和词性标签

—— 相关word embedding研究论文

预处理阶段，我们使用Stanford CoreNLP进行分词与小写转换

—— 相关document embedding研究论文

此外，原始doc2vec论文中未明确说明预处理的细节。

技术疑问与解答 #

疑问1：第一篇论文为何采用词性标注？两种用法哪种更推荐？ #

论文采用词性标注通常有两种核心场景：

1. 拼接式用法：将token转换为{lemma}_{POS}形式（比如run_VB、bank_NN），目的是精准区分同形异义/同形不同词性的词汇。例如"bank"作为名词（银行）和动词（倚靠），词形还原后都是"bank"，但加上词性标签能让模型学习到完全不同的语义表示，非常适合歧义密集的语料。
2. 过滤式用法：类似gensim WikiCorpus的逻辑，仅保留动词、名词、形容词等承载核心语义的词性，剔除介词、助词、连词等功能词。这种做法能减少噪声干扰，让模型聚焦于关键语义信息，同时降低计算开销，在大规模语料训练中效率更高。

至于哪种方式更推荐，完全取决于你的任务目标：

• 如果任务是细粒度语义区分（比如语义相似度计算、歧义消解），拼接式用法能提供更精准的语义区分度；
• 如果任务是通用文档/词嵌入（比如文本分类、聚类），过滤式用法是更主流的选择，能在保证效果的同时提升训练效率。

疑问2：仅做分词与小写转换的方式，是否更利于文档嵌入效果？ #

这个观点不能一概而论，需要结合语料规模、领域和任务需求判断：

• 优势：保留所有词性确实能留存更多文本细节，比如转折连词"but"、因果连词"because"这类功能词，在表达文档逻辑关系时起到关键作用。对于需要捕捉文本结构或逻辑的任务（比如论点抽取、逻辑推理类任务），保留这些词可能显著提升效果。
• 劣势：大量噪声词（比如语气词、冗余停用词）会分散模型注意力，尤其是在小语料场景下，模型可能无法有效区分核心语义与噪声，反而导致嵌入质量下降。另外，未做词形还原会让模型把"run"、"running"、"ran"视为独立词汇，浪费了原本可以共享的语义信息。

如果你的语料是大规模领域特定文本（比如专业学术文献），且任务需要完整捕捉文本逻辑，这种轻量预处理可能有效；但对于通用场景，更推荐结合词形还原+词性过滤的流程，平衡语义保留与噪声控制。

内容的提问来源于stack exchange，提问作者Simon Hessner