如何让预训练词向量仅捕捉语义？解决同语义异词性词聚类分歧

你遇到的这个问题其实很常见——预训练的fastText（尤其是基于通用语料比如维基百科训练的）通常会同时编码语义信息和句法/词性信息，所以词性相同的词更容易聚在一起，而语义相近但词性不同的词会被拉开距离。下面是几个实用的方案，帮你得到更偏向语义的词向量：

1. 先做词形还原，再用基于词元（Lemma）的词向量 #

预训练词向量是基于原始词形训练的，kind、kindness、kindly是不同的token，自然向量差异大。你可以先把所有词汇还原成它们的词元（lemma）——也就是这个词的核心语义形式，比如这三个词都能还原成kind，再用还原后的词去获取向量：

• 用NLTK的WordNetLemmatizer做还原时，记得指定词性（不然默认按名词处理，可能还原不准）：

  from nltk.stem import WordNetLemmatizer
  lemmatizer = WordNetLemmatizer()
  # 名词用pos='n'，形容词pos='a'，副词pos='r'
  print(lemmatizer.lemmatize('kindness', pos='n'))  # 输出kind
  print(lemmatizer.lemmatize('kind', pos='a'))      # 输出kind
  print(lemmatizer.lemmatize('kindly', pos='r'))    # 输出kind
  

• 如果你能找到基于lemma训练的fastText模型（有些公开预训练模型会提供lemma版本），直接用这类模型的向量效果会更好，因为它从训练阶段就把同语义不同词性的词归为了同一个token。

2. 微调预训练向量，让模型优先关注语义 #

如果你有少量标注数据或者可以构造语义相关的词对，可以对fastText向量做微调，用对比学习的方式强化语义关联：

• 构造训练样本：把语义相近但词性不同的词对作为正样本（比如kind和kindness），把词性相同但语义无关的词对作为负样本（比如kind和happy）。
• 用Triplet Loss或者Contrastive Loss训练：锚点是目标词，正样本是语义相近的词，负样本是词性相近但语义远的词，让模型学习拉近正样本的向量距离，拉远负样本的距离。
• 这种方法能针对性地让你的向量更贴合你的语义聚类需求，不过需要一定的代码能力和计算资源。

3. 后处理现有向量，过滤词性相关信息 #

如果你不想重新训练或还原词形，可以对已有的fastText向量做后处理，剥离掉词性相关的成分：

• PCA/ICA去噪：收集一批词性相同但语义差异大的词，提取它们向量中的共同方差（这部分就是词性带来的共性），然后把所有词向量投影到正交于这个方差的子空间，这样就能去掉词性相关的信息，保留语义差异。
• 对抗训练消去词性信息：训练一个简单的分类器，输入词向量来预测词性，同时训练一个变换层，把原词向量转换成新向量，让分类器无法准确预测词性，但新向量还要保留足够的语义信息（比如用语义相似度作为约束）。

4. 换用专为语义设计的预训练模型 #

有些预训练模型从设计上就更侧重语义而非句法：

• ConceptNet Numberbatch：它基于ConceptNet的知识图谱训练，把语义相关的词（不管词性）映射到相近的向量空间，比如kind、kindness、kindly会被关联到同一个概念节点，向量相似度很高。
• ELMo的上层向量：ELMo是上下文相关的模型，它的下层向量更关注句法/词性，上层向量更关注语义，你可以提取ELMo的顶层向量作为词的语义表示。
• SimCSE的静态词向量版本：SimCSE通过对比学习训练，能生成语义相似度更高的向量，即使是不同词性的同语义词，向量距离也会更近。

小技巧辅助聚类 #

除了调整词向量，你还可以在聚类阶段加入语义约束：比如先借助WordNet的同义词集合（Synset），把属于同一个synset的词先归为一组，再结合词向量做聚类，这样能进一步提升语义聚类的准确性。

内容的提问来源于stack exchange，提问作者saghi