Keras嵌入层遇未登录词的工作机制及预测场景疑问

嘿，这个问题问到点子上了——文本任务里未登录词太常见，咱们一步步把逻辑掰明白：

首先得明确：未登录词的处理其实从Tokenizer阶段就开始了，Embedding层的行为完全取决于Tokenizer给它传递的索引是什么。

两种核心场景拆解 #

1. 未设置oov_token参数（你的当前代码大概率属于这种） #

如果初始化Tokenizer时没加oov_token="<OOV>"这类配置，texts_to_sequences遇到训练数据里没见过的词（比如你例子里的"random"），会直接忽略这个词，不会给它分配任何索引。

举个实际例子：假设你的训练数据里只有"this"、"is"、"car"、"text"这几个词，那sequences = tokenizer.texts_to_sequences(['this is random car text'])得到的序列会是[[idx_of_this, idx_of_is, idx_of_car, idx_of_text]]——"random"直接被丢掉了。之后pad_sequences只是对这个序列做补长或截断，Embedding层拿到的都是训练时见过的索引，自然正常查表返回对应向量，根本碰不到未登录词的问题。

2. 设置了oov_token参数 #

如果初始化Tokenizer时指定了oov_token，比如：

tokenizer = Tokenizer(oov_token="<OOV>")
tokenizer.fit_on_texts(training_texts)

这时候Tokenizer会给<OOV>这个特殊词分配一个固定索引（通常是1，因为0默认留给padding）。之后texts_to_sequences遇到未登录词时，会把它替换成这个<OOV>的索引。

这时候Embedding层的处理逻辑分两种情况：

• 随机初始化Embedding：<OOV>对应的向量会和其他词向量一起参与训练，最终学到一个能代表未登录词的通用向量。
• 预训练Embedding：你需要提前给<OOV>初始化一个向量（比如随机生成，或者用所有预训练词向量的均值），然后把这个向量加入到Embedding的权重矩阵里，确保索引能对应上。

关键细节提醒 #

• Embedding层本身就是纯查表机制，它只会处理传入的索引——只有当索引超出它的权重矩阵行范围（也就是超过input_dim设置的值）时才会报错，但只要Tokenizer的词汇量和Embedding的input_dim匹配（通常input_dim = len(tokenizer.word_index) + 1），就不会出现索引越界问题。
• 没设oov_token时，未登录词被过滤会导致输入序列的语义缺失，可能影响预测准确性；设置oov_token能保留位置信息，让模型知道这里有个未知词，通常效果更稳妥。

内容的提问来源于stack exchange，提问作者Varun Rao