Django项目机器学习模型云端存储与远程加载方案咨询

核心说明 #

open()函数仅支持本地文件路径，无法直接读取HTTP/HTTPS链接的文件，因此需要通过「云端存储下载到本地临时文件再加载」或「模型服务解耦」的方式实现需求，以下是具体可行思路：

方案一：云对象存储+临时文件加载（适配Google Cloud环境） #

将模型上传至Google Cloud Storage（GCS），在Django中按需下载到临时文件后加载，避免模型占用容器本地存储空间与内存。

1. 准备工作

   • 将5个模型上传至GCS存储桶，配置私有访问权限（通过Google Cloud服务账号密钥授权访问）
   • 在Django项目中安装依赖库：pip install google-cloud-storage

2. 实现代码

from google.cloud import storage
import pickle
import tempfile
import os

def load_model_from_gcs(bucket_name, model_path):
    # 初始化GCS客户端
    storage_client = storage.Client()
    bucket = storage_client.bucket(bucket_name)
    blob = bucket.blob(model_path)
    
    # 创建临时文件存储模型
    with tempfile.NamedTemporaryFile(delete=False) as temp_file:
        blob.download_to_file(temp_file)
    
    # 加载模型
    model = pickle.load(open(temp_file.name, "rb"))
    # 加载完成后删除临时文件，释放磁盘空间
    os.unlink(temp_file.name)
    return model

# 使用示例
xgboost_model1 = load_model_from_gcs("your-model-bucket", "AI_models/xgboost_model1.sav")

方案二：按需加载+内存缓存 #

结合云对象存储，仅在需要使用模型时才下载加载，并将已加载的模型存入内存缓存，避免重复下载与内存浪费。

from google.cloud import storage
import pickle
import tempfile
import os

# 内存缓存已加载的模型
model_cache = {}

def get_model(model_name):
    # 优先从缓存获取模型
    if model_name in model_cache:
        return model_cache[model_name]
    
    # 从GCS下载并加载模型
    bucket_name = "your-model-bucket"
    model_path = f"AI_models/{model_name}.sav"
    
    storage_client = storage.Client()
    bucket = storage_client.bucket(bucket_name)
    blob = bucket.blob(model_path)
    
    with tempfile.NamedTemporaryFile(delete=False) as temp_file:
        blob.download_to_file(temp_file)
    
    model = pickle.load(open(temp_file.name, "rb"))
    os.unlink(temp_file.name)
    
    # 将模型存入缓存
    model_cache[model_name] = model
    return model

# 使用示例
xgboost_model1 = get_model("xgboost_model1")

方案三：模型服务解耦（彻底分离Django与模型加载） #

将模型部署为独立的预测服务，Django仅通过HTTP请求调用服务获取结果，完全避免模型占用Django容器的内存。

1. 搭建模型服务（以FastAPI为例）

from fastapi import FastAPI
import pickle
from google.cloud import storage
import tempfile
import os
import numpy as np

app = FastAPI()

# 启动时加载模型（或按需加载）
def load_model():
    bucket_name = "your-model-bucket"
    model_path = "AI_models/xgboost_model1.sav"
    storage_client = storage.Client()
    bucket = storage_client.bucket(bucket_name)
    blob = bucket.blob(model_path)
    
    with tempfile.NamedTemporaryFile(delete=False) as temp_file:
        blob.download_to_file(temp_file)
    
    model = pickle.load(open(temp_file.name, "rb"))
    os.unlink(temp_file.name)
    return model

model = load_model()

@app.post("/predict")
def predict(data: list):
    # 转换输入数据格式并执行预测
    input_data = np.array(data)
    prediction = model.predict(input_data)
    return {"prediction": prediction.tolist()}

2. 部署模型服务
   将上述代码打包为Docker镜像，部署至Google Cloud Run或GKE，获取服务访问URL。

3. Django中调用模型服务

import requests

def get_prediction(input_data):
    response = requests.post(
        "https://your-model-service-url/predict",
        json=input_data
    )
    return response.json()["prediction"]

内容的提问来源于stack exchange，提问作者Ivan Lysenko