Word2Vec如何为初始语料未包含的词汇生成词嵌入？

首先明确：你看到的「所有标注数据集词汇都有嵌入」，不是Word2Vec生成的，是你的代码做了随机初始化兜底。

核心事实：Word2Vec处理不了未见过的词 #

标准的Word2Vec（不管是CBOW还是Skip-gram结构），训练时只会为训练语料（你的无标注新闻语料）中出现过的词生成向量。对于完全不在模型词汇表里的OOV（Out-of-Vocabulary）词，Word2Vec本身没有任何生成向量的能力——它根本不知道这些词的存在。

你的代码逻辑是关键 #

看你这段代码的执行流程：

1. 第一步就用np.random.rand(nb_words+1, embed_dim)生成了一个全随机的嵌入矩阵，矩阵的每个位置对应word_index里的一个词（包括那些Word2Vec没见过的词）。
2. 遍历word_index时，只有在微调后的Word2Vec模型（embeddings_index）里能找到的词，才会把矩阵对应位置的随机值替换成预训练的词向量。
3. 对于Word2Vec没见过的词，代码只是把它们加入words_not_found列表，矩阵里对应的位置还是保留最初的随机值。

所以你最终得到的嵌入矩阵里所有词汇都有向量，本质是随机初始化的功劳，和Word2Vec无关。

给OOV词生成合理嵌入的可选方案 #

如果想让未见过的词有更有意义的嵌入，而不是随机值，可以试试这些方法：

• 字符级嵌入：用Char2Vec之类的模型，把词拆成字符序列来生成向量，能覆盖所有由已知字符组成的词。
• 子词嵌入：用BPE、WordPiece这类子词分割算法，把OOV词拆成模型见过的子词片段，再通过子词向量组合得到整个词的向量（类似BERT等预训练模型的处理方式）。
• 同义词替换：如果能找到OOV词在训练语料里的同义词，直接复用同义词的向量。

内容的提问来源于stack exchange，提问作者Debbie