TfidfVectorizer训练的TF-IDF模型出现训练语料外词汇问题咨询

问题 #

我在一份经过清洗的语料（已去除停用词、数字并完成词干提取等处理）上训练了TF-IDF模型，但发现模型中存在训练语料里没有的词汇。

相关代码如下：

corpus = clean_corpus(corpus)
vectorizer = TfidfVectorizer(max_df=0.5)
vec_trained = vectorizer.fit_transform(clean_corpus)

keywords_tf_idf = pd.DataFrame(vectorizer.get_feature_names_out()).values.tolist()

counter = 0
list_words = []
for sentence in all_sentences:
    words = sentence.split()
    for word in words:
        list_words.append(word)

for keyword in keywords_tf_idf:
    if keyword[0] not in list_words:
        counter += 1
        print(keyword)
print(counter)

统计发现有数百个此类词汇（模型共包含17000+词汇）。我想知道vectorizer.fit_transform()是否会自行修改词汇？是否存在UTF-8编码覆盖的问题？为何模型会出现训练语料中没有的词汇？

解答 #

1. vectorizer.fit_transform()是否会自行修改词汇？ #

不会直接修改词汇，但它的默认分词逻辑和你手动用split()拆分的逻辑不一致。TfidfVectorizer默认用正则(?u)\b\w\w+\b提取词汇，只会匹配至少两个字符的字母/数字/下划线组合；而你手动按空格拆分，会保留带特殊符号（比如连字符、标点）的完整词。比如语料里的"user-name"，split()会把它当成一个词，但TfidfVectorizer会拆成"user"和"name"，这就会让你误以为模型生成了语料里没有的词。

2. 是否存在UTF-8编码覆盖的问题？ #

概率不高，但如果语料里有非ASCII字符（比如中文、特殊符号），在读取或清洗时编码处理不当，可能出现乱码字符。这些乱码会被TfidfVectorizer当成有效词汇提取出来，但你手动检查all_sentences时可能看不到或者识别不出来，就会误以为是模型凭空生成的。可以打印几个"不存在的词汇"，看看是不是乱码。

3. 为何模型会出现训练语料中没有的词汇？ #

最核心的原因是你用来对比的数据集和训练模型的数据集不是同一批：

• 代码里你先把corpus用clean_corpus()处理了，但训练模型时传入的是clean_corpus（这里大概率是变量名写错了，应该是处理后的corpus）；而对比用的是all_sentences，如果all_sentences是清洗前的原始语料，或者没经过和corpus一样的清洗步骤，两者的词汇自然会有差异；
• 另外，你的clean_corpus函数可能在词干提取、特殊字符处理时出错，生成了一些意外词汇，但你对比时用的all_sentences没经过这些处理，所以会觉得这些词不在语料里。

排查建议 #

• 先检查变量名：确认训练模型用的clean_corpus是不是处理后的corpus，如果是笔误，那训练语料和你以为的完全不同；
• 把生成list_words的数据源换成训练用的corpus，而不是all_sentences，再对比看看；
• 挑几个"不存在的词汇"，去corpus里搜一搜，看是不是分词逻辑差异导致的；
• 检查clean_corpus函数的每一步，确认词干提取、停用词去除等操作有没有引入意外词汇。

内容的提问来源于stack exchange，提问作者Dino