使用TfidfVectorizer转换Pandas Series时出现np.nan无效文档错误

从你给出的错误栈能直接定位问题：ValueError: np.nan is an invalid document, expected byte or unicode string.——你的待预测数据集X_predict里存在空值（np.nan），虽然它和训练集的类型都是pandas.Series，但内容里混入了文本处理无法识别的缺失值，而之前交叉验证时的测试集刚好没有这类数据，所以没触发报错。

快速排查验证 #

先确认空值的存在情况，运行以下代码：

# 统计空值总数
print(X_predict.isna().sum())
# 查看具体的空值位置和内容
print(X_predict[X_predict.isna()])
# 额外检查看似非空的空白字符串（同样会导致处理失败）
print(X_predict.str.strip().eq('').sum())

针对性解决方法 #

你需要在TF-IDF转换前清理无效数据，推荐两种方案：

方案1：删除无效数据 #

如果空值/空白内容对预测无意义，直接删除：

# 先移除空值，再过滤纯空白字符串
X_predict_clean = X_predict.dropna().loc[X_predict.dropna().str.strip() != '']
# 用清理后的数据集执行转换
X_predict_tfidf = vect.transform(X_predict_clean)

方案2：填充无效数据 #

如果不想丢失样本，把空值/空白替换成统一占位符：

# 填充空值为占位符，同时把纯空白字符串也替换掉
X_predict_clean = X_predict.fillna("empty_message").str.strip().replace("", "empty_message")
X_predict_tfidf = vect.transform(X_predict_clean)

补充说明：为什么交叉验证时没问题？ #

你之前用train_test_split拆分的是dataset里的数据，要么这个数据集已经被你提前清理过空值，要么拆分出的测试集刚好没有包含空值样本，所以没触发这个错误。但新导入的messages.csv里存在未处理的缺失/空白内容，才导致了这次报错。

内容的提问来源于stack exchange，提问作者user5526660