Flask加载序列化NLP模型触发NameError：wordpunct_tokenize未定义

一、先搞懂反序列化时函数的调用逻辑 #

不管用pickle还是dill，序列化模型时都不会把依赖函数的完整代码打包进去，只会存函数的命名空间引用（比如nltk.tokenize.wordpunct_tokenize）。反序列化的时候，Python会去当前运行环境的对应命名空间里找这个函数，找不到就报错——这就是你遇到的问题根源。

dill比pickle能处理更多复杂对象，但如果函数的引用路径在训练和部署环境不一致，照样会触发命名空间找不到的错误。

二、直接能用的解决方案 #

1. 确保函数在部署环境的全局命名空间中 #

别复制函数代码到app.py，直接显式导入函数的完整命名空间：

# app.py开头必须加这个（如果是nltk自带的tokenizer）
from nltk.tokenize import wordpunct_tokenize

如果是你自定义的wordpunct_tokenize，要保证训练时这个函数所在的模块，在Flask环境里能被正常导入，而且模块路径和训练时完全一致（比如训练时在my_utils.tokenizers，部署时也要从这个路径导入）。

2. 序列化时绑定函数的正确命名空间（推荐） #

训练模型的时候，先把函数的__module__属性改成全局可访问的模块名，再序列化：

# 训练脚本里的代码
def wordpunct_tokenize(text):
    # 你的自定义实现
    pass

# 修改函数的模块属性，指向你的自定义模块（比如my_tokenizers）
wordpunct_tokenize.__module__ = "my_tokenizers"

# 然后用dill保存模型
import dill
with open("nlp_model.dill", "wb") as f:
    dill.dump(your_pipeline, f)

之后在Flask的app.py中，导入这个模块：

from my_tokenizers import wordpunct_tokenize

3. 强制dill序列化函数完整代码 #

如果上面的方法不行，就让dill把函数的代码直接打包进去，不存引用：

# 训练脚本中设置dill参数
import dill
dill.settings['recurse'] = True  # 递归序列化所有依赖的函数代码

with open("nlp_model.dill", "wb") as f:
    dill.dump(your_pipeline, f)

这样部署时不用额外导入函数，dill会自动把函数代码加载到当前环境。

4. 检查流水线组件的定义方式 #

如果你的流水线用了sklearn的Pipeline或者类似库，别用嵌套函数定义tokenizer：

# 错误写法：嵌套函数会导致序列化时引用路径混乱
def build_pipeline():
    def wordpunct_tokenize(text):
        pass
    return Pipeline([('tokenize', FunctionTransformer(wordpunct_tokenize))])

# 正确写法：把函数放到模块级别
def wordpunct_tokenize(text):
    pass

def build_pipeline():
    return Pipeline([('tokenize', FunctionTransformer(wordpunct_tokenize))])

三、快速排查步骤 #

• 先在训练环境里打印wordpunct_tokenize.__module__，再在Flask环境里导入函数后同样打印，两个结果必须完全一致。
• 如果是自定义函数，检查训练时的模块是否在Flask环境的Python路径中，或者直接把模块文件放到Flask应用的同级目录下。

内容的提问来源于stack exchange，提问作者Tristen Wallace