Python部署ONNX模型：如何实现仅初始化加载一次？asyncio/多线程该选谁？

我有一个基于Python的大型机器学习/计算机视觉项目，使用ONNX模型。本地环境下，加载模型加推理耗时约3秒，具体耗时如下：

加载ONNX模型耗时：0.2702977657318115
ONNX推理耗时1：1.673530101776123
ONNX推理耗时2：0.7677013874053955

但部署后，服务器每次接收到POST请求都会重新加载模型。例如4个用户同时请求时，所有结果需耗时约30秒；单个请求时则约10秒。

核心疑问
是否能在服务器初始化时仅加载一次ONNX模型，而非每次请求都加载？
我曾尝试使用asyncio，它能对请求进行排队，但最后一个请求仍需等待约30秒，且此时CPU使用率未达100%。我不确定最优方案是仅加载一次模型、使用多线程，还是继续使用asyncio。

1. 可以在服务器初始化时仅加载一次模型，这是首要优化点 #

重复加载模型是当前性能瓶颈的核心原因之一——每次请求都重新读取模型文件、初始化会话，叠加后会大幅增加总耗时。直接在服务器启动阶段加载模型，后续所有请求复用已加载的模型实例，能直接消除这部分重复开销。

以常见的Python Web框架为例，实现方式如下：

FastAPI 示例

import onnxruntime as ort
from fastapi import FastAPI

# 服务器启动时全局加载模型，所有请求复用该会话
model_session = ort.InferenceSession("your_model_path.onnx")

app = FastAPI()

@app.post("/predict")
async def predict(input_data: dict):
    # 直接使用已加载的模型会话执行推理
    outputs = model_session.run(None, input_data)
    return {"outputs": outputs}

Flask 示例

from flask import Flask, request, jsonify
import onnxruntime as ort

app = Flask(__name__)
model_session = None

# 在第一个请求到来前加载模型，仅执行一次
@app.before_first_request
def init_model():
    global model_session
    model_session = ort.InferenceSession("your_model_path.onnx")

@app.route("/predict", methods=["POST"])
def predict():
    input_data = request.get_json()
    outputs = model_session.run(None, input_data)
    return jsonify({"outputs": outputs})

2. 为什么asyncio效果不佳？ #

ONNX推理属于计算密集型任务，而asyncio的异步机制主要针对IO密集型场景（如网络请求、文件读写）。在Python GIL（全局解释器锁）的限制下，单线程asyncio只能串行处理推理任务，无法利用多核CPU，导致请求排队、CPU使用率上不去，性能自然无法提升。

3. 最优方案组合：单实例加载模型 + 多线程/多进程并发处理 #

仅加载一次模型是基础，在此之上需要结合并发方案充分利用硬件资源：

• CPU推理场景：使用多线程或多进程模式。比如用FastAPI搭配uvicorn启动时指定多工作进程：

  uvicorn main:app --workers 4
  

  或者在代码中使用线程池处理推理任务，避免阻塞事件循环：

  from concurrent.futures import ThreadPoolExecutor
  # 在FastAPI启动时初始化线程池
  app.state.executor = ThreadPoolExecutor(max_workers=4)
  
  @app.post("/predict")
  async def predict(input_data: dict):
      outputs = await app.state.executor.submit(model_session.run, None, input_data)
      return {"outputs": outputs}
  

• GPU推理场景：GPU本身支持并行推理，无需过多进程（避免GPU内存占用过高），单进程多线程即可，ONNX Runtime会自动利用GPU的并行能力。

总结 #

优先实现服务器初始化时仅加载一次模型，这能直接解决重复加载带来的额外耗时；再根据你的硬件环境（CPU/GPU）选择对应的并发方案，就能大幅提升并发请求的处理效率。

内容的提问来源于stack exchange，提问作者TheRealKebab