如何解决TfidfVectorizer向量维度不匹配问题？

你遇到的维度不匹配问题违背了TfidfVectorizer的正常工作逻辑——同一个向量器实例先拟合训练数据，再转换测试数据，得到的向量列数必须一致。出现这个错误的核心原因是：向量器的词汇表在fit_transform之后被意外修改，或者代码执行过程中存在重复初始化/重新拟合的操作。

1. 排查代码执行流程 #

• 检查是否在执行title_vec = vectorizer.fit_transform(movies['title'])之后，又重新创建了新的TfidfVectorizer实例，或者调用了vectorizer.fit()方法（这会重置词汇表，导致后续transform使用新的词汇表，维度变化）。
• 确认没有其他代码块修改了vectorizer的核心属性（比如vocabulary_）。

2. 修正后的标准代码 #

确保整个流程中只初始化一次向量器，且仅对训练数据执行一次fit_transform：

import re
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

def clean_text(text):
    return re.sub(r'[^a-zA-Z0-9 ]', "", text)

# 处理训练集标题
movies['title'] = movies['title'].apply(clean_text)

# 初始化向量器并仅拟合训练数据一次
vectorizer = TfidfVectorizer(ngram_range=(1,2), stop_words='english')
title_vec = vectorizer.fit_transform(movies['title'])

# 处理待匹配标题并转换向量
title = "Toy Story"
cleaned_title = clean_text(title)
word_vec = vectorizer.transform([cleaned_title])

# 计算余弦相似度
similarity = cosine_similarity(word_vec, title_vec)

3. 特殊情况处理（词汇表确实无法统一时） #

如果经过排查，确实存在训练数据和待匹配文本词汇完全无交集的极端情况，正确做法不是补零（补零会引入无意义维度，导致相似度计算失真），而是重新拟合包含所有文本的词汇表：

import re
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

def clean_text(text):
    return re.sub(r'[^a-zA-Z0-9 ]', "", text)

# 处理训练集标题
movies['title'] = movies['title'].apply(clean_text)
# 处理待匹配标题
title = "Toy Story"
cleaned_title = clean_text(title)

# 合并所有标题，统一拟合词汇表
all_titles = movies['title'].tolist() + [cleaned_title]
vectorizer = TfidfVectorizer(ngram_range=(1,2), stop_words='english')
all_vec = vectorizer.fit_transform(all_titles)

# 拆分训练向量和待匹配向量
title_vec = all_vec[:-1]
word_vec = all_vec[-1:]

# 计算相似度
similarity = cosine_similarity(word_vec, title_vec)

为什么补零方案无效？ #

补零填充的方式完全错误——余弦相似度依赖词汇表的语义对应关系，补的零维度在对方向量中没有对应语义，计算出的结果毫无意义，且本质上没有解决词汇表不一致的核心问题。

内容的提问来源于stack exchange，提问作者KIZ-MAN