如何对使用自定义方法的TF-IDF向量化器执行pickle序列化与反序列化
问题原因
pickle 序列化时默认仅存储自定义函数的引用,不会保存函数的实现代码。反序列化时会在当前运行环境的__main__模块下查找同名的ngrams函数,找不到就会抛出对应的AttributeError。
另外你提供的序列化代码存在两处笔误:
pickle.dump行中文件打开模式"wb缺少闭合引号pickle.load行中文件打开模式误用了写模式wb,应该改为读模式rb
可行解决方案
方案1:将自定义函数放入独立模块(生产环境最推荐)
这种方式无需依赖第三方库,兼容性最好。
步骤:
- 新建
custom_analyzer.py文件,将ngrams函数移入该文件:
# custom_analyzer.py def ngrams(text, n=3): text = str(text) text = text.lower() text = ' '+ text +' ' ngrams = zip(*[text[i:] for i in range(n)]) return [''.join(ngram) for ngram in ngrams]
- 训练时从该模块导入函数使用:
from custom_analyzer import ngrams from sklearn.feature_extraction.text import TfidfVectorizer vectorizer = TfidfVectorizer(min_df=1, analyzer=ngrams) input_matrix = vectorizer.fit_transform(data)
- 序列化和反序列化时,保证运行环境的同级目录下有相同的
custom_analyzer.py文件即可正常操作:
# 序列化 import pickle pickle.dump(vectorizer, open("tfidf_vectorizer.pkl", "wb")) # 反序列化 vec = pickle.load(open("tfidf_vectorizer.pkl", "rb"))
方案2:用dill替代pickle(临时场景最方便)
dill 是pickle的增强库,支持直接序列化函数本身的实现,不需要额外维护模块。
步骤:
- 安装dill:
pip install dill - 直接用dill替换pickle执行序列化/反序列化:
import dill # 序列化 dill.dump(vectorizer, open("tfidf_vectorizer.pkl", "wb")) # 反序列化 vec = dill.load(open("tfidf_vectorizer.pkl", "rb"))
方案3:将分词逻辑封装为可调用类(无额外依赖无需单独模块)
实现一个带__call__方法的类,类实例可以像函数一样被调用,pickle可以正常序列化类实例的状态。
示例代码:
from sklearn.feature_extraction.text import TfidfVectorizer class NgramsAnalyzer: def __init__(self, n=3): self.n = n def __call__(self, text): text = str(text) text = text.lower() text = ' '+ text +' ' ngrams = zip(*[text[i:] for i in range(self.n)]) return [''.join(ngram) for ngram in ngrams] # 初始化向量化器 vectorizer = TfidfVectorizer(min_df=1, analyzer=NgramsAnalyzer(n=3)) input_matrix = vectorizer.fit_transform(data) # 直接用pickle序列化/反序列化即可 import pickle pickle.dump(vectorizer, open("tfidf_vectorizer.pkl", "wb")) vec = pickle.load(open("tfidf_vectorizer.pkl", "rb"))
内容的提问来源于stack exchange,提问作者user_12
相关产品推荐
相关产品推荐

