FastAPI中如何通过Pickle一次性加载模型并复用的问题

核心问题分析 #

全局加载模型时出现AttributeError: 无法获取'WoE_Binning'属性，本质是pickle加载模型时，找不到保存模型时依赖的WoE_Binning类定义——要么是类没正确导入，要么是类的模块路径/定义和保存模型时不一致。而FastAPI中要实现模型复用，最佳方式是利用服务启动事件一次性加载，而非全局变量直接初始化。

分步解决方案 #

1. 确保依赖类正确导入

先检查WoE_Binning类的导入逻辑：

• 找到保存模型时，WoE_Binning所在的模块（比如preprocessing.py）
• 在加载模型的代码中，严格按照保存时的路径导入该类，示例：

  # 替换成你实际的模块路径，必须和保存模型时的导入路径一致
  from your_project.preprocessing import WoE_Binning
  

如果类定义有修改（比如重命名、增减属性），必须回退到和保存模型时完全一致的版本，否则pickle无法反序列化。

2. 用FastAPI启动事件加载模型

利用FastAPI的startup事件，在服务启动时仅加载一次模型，存入全局变量供所有请求复用。示例代码：

from fastapi import FastAPI
import pickle
# 导入模型依赖的类，路径必须匹配保存时的环境
from your_project.preprocessing import WoE_Binning

app = FastAPI()
# 全局变量存储模型，服务启动后所有请求复用
model = None

@app.on_event("startup")
def load_model_on_startup():
    global model
    # 替换为你的模型文件路径
    with open("trained_model.pkl", "rb") as f:
        model = pickle.load(f)

@app.post("/predict")
async def predict(input_data: dict):
    # 直接使用全局模型进行预测
    prediction_result = model.predict(input_data)
    return {"prediction": prediction_result}

3. 多Worker环境的注意事项

如果用uvicorn启动时指定了--workers参数（多进程模式），每个Worker会独立加载一次模型（进程内存不共享），但每个Worker内部的所有请求都会复用自己的模型实例，已经避免了每次请求加载的开销，这是正常现象。

排查仍报错的情况 #

如果还是出现AttributeError，可以尝试：

• 检查保存模型时的代码，确认WoE_Binning的模块路径，比如保存时是from .preprocessing import WoE_Binning，现在要保证导入路径一致
• 若模型是在其他环境保存的，可在当前环境重新训练保存一次，确保类定义和运行环境完全匹配

内容的提问来源于stack exchange，提问作者bravopapa