You need to enable JavaScript to run this app. 如何对使用自定义方法的TF-IDF向量化器执行pickle序列化与反序列化
优惠活动
大模型
产品
解决方案
定价
更多

如何对使用自定义方法的TF-IDF向量化器执行pickle序列化与反序列化

问题原因

pickle 序列化时默认仅存储自定义函数的引用,不会保存函数的实现代码。反序列化时会在当前运行环境的__main__模块下查找同名的ngrams函数,找不到就会抛出对应的AttributeError。
另外你提供的序列化代码存在两处笔误:

  • pickle.dump 行中文件打开模式"wb缺少闭合引号
  • pickle.load 行中文件打开模式误用了写模式wb,应该改为读模式rb
可行解决方案

方案1:将自定义函数放入独立模块(生产环境最推荐)

这种方式无需依赖第三方库,兼容性最好。
步骤:

  1. 新建custom_analyzer.py文件,将ngrams函数移入该文件:
# custom_analyzer.py
def ngrams(text, n=3):
    text = str(text)
    text = text.lower()
    text = ' '+ text +' '
    ngrams = zip(*[text[i:] for i in range(n)])
    return [''.join(ngram) for ngram in ngrams]
  1. 训练时从该模块导入函数使用:
from custom_analyzer import ngrams
from sklearn.feature_extraction.text import TfidfVectorizer

vectorizer = TfidfVectorizer(min_df=1, analyzer=ngrams)
input_matrix = vectorizer.fit_transform(data)
  1. 序列化和反序列化时,保证运行环境的同级目录下有相同的custom_analyzer.py文件即可正常操作:
# 序列化
import pickle
pickle.dump(vectorizer, open("tfidf_vectorizer.pkl", "wb"))

# 反序列化
vec = pickle.load(open("tfidf_vectorizer.pkl", "rb"))

方案2:用dill替代pickle(临时场景最方便)

dill 是pickle的增强库,支持直接序列化函数本身的实现,不需要额外维护模块。
步骤:

  1. 安装dill:pip install dill
  2. 直接用dill替换pickle执行序列化/反序列化:
import dill

# 序列化
dill.dump(vectorizer, open("tfidf_vectorizer.pkl", "wb"))

# 反序列化
vec = dill.load(open("tfidf_vectorizer.pkl", "rb"))

方案3:将分词逻辑封装为可调用类(无额外依赖无需单独模块)

实现一个带__call__方法的类,类实例可以像函数一样被调用,pickle可以正常序列化类实例的状态。
示例代码:

from sklearn.feature_extraction.text import TfidfVectorizer

class NgramsAnalyzer:
    def __init__(self, n=3):
        self.n = n
    
    def __call__(self, text):
        text = str(text)
        text = text.lower()
        text = ' '+ text +' '
        ngrams = zip(*[text[i:] for i in range(self.n)])
        return [''.join(ngram) for ngram in ngrams]

# 初始化向量化器
vectorizer = TfidfVectorizer(min_df=1, analyzer=NgramsAnalyzer(n=3))
input_matrix = vectorizer.fit_transform(data)

# 直接用pickle序列化/反序列化即可
import pickle
pickle.dump(vectorizer, open("tfidf_vectorizer.pkl", "wb"))
vec = pickle.load(open("tfidf_vectorizer.pkl", "rb"))

内容的提问来源于stack exchange,提问作者user_12

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.19 00:45:03