Flask部署目标检测API遇并发请求结果异常问题排查

你的问题核心在于Flask的全局变量并非线程隔离，而且你误解了线程对全局对象的处理——线程不会自动复制全局对象，多个线程会共享同一个face_obj和od_obj实例。如果你的模型detect()方法内部存在非线程安全的状态（比如实例级别的缓存变量、临时数组，或者OpenCV/dlib某些底层操作不是线程安全的），并发请求时多个线程同时调用同一个实例的detect()，就会互相干扰，导致检测结果错乱。

至于你提到的session变量，完全不适合这个场景：session是用来存储用户会话数据的，每个请求的session独立，而且模型实例无法被序列化存储到session中，用session只会重复加载模型，反而违背你预加载降低成本的初衷。

下面给你几个可行的解决方案，按推荐程度排序：

1. 使用线程本地存储（Thread-Local Storage） #

给每个线程分配独立的模型实例，线程内的请求复用同一个实例，既保证了线程安全，又避免了重复加载模型的开销。可以用Python标准库的threading.local()实现：

import threading
from flask import g

# 创建线程本地存储容器
thread_local = threading.local()

def get_face_model():
    # 线程第一次请求时加载模型，之后复用
    if not hasattr(thread_local, 'face_obj'):
        thread_local.face_obj = FaceRecog.Face()
    return thread_local.face_obj

def get_object_model():
    if not hasattr(thread_local, 'od_obj'):
        thread_local.od_obj = ObjectDetect.Object()
    return thread_local.od_obj

# 修改你的Detect类
class Detect(Resource):
    @jwt_required
    def post(self):
        args = parse_args()
        if args['type'] == 'face':
            m = get_face_model()
            g.log.debug('Face Recognition requested')
        elif args['type'] in [None, 'object']:
            m = get_object_model()
            g.log.debug('Object Recognition requested')
        else:
            abort(400, msg='Invalid Model:{}'.format(args['type']))
        
        fip, ext = get_file(args)
        fi = fip + ext
        image = cv2.imread(fi)
        detections = m.detect(image)
        return detections

2. 改用多进程部署 #

如果你的WSGI服务器（比如Gunicorn）支持多进程，可以启动多个worker进程，每个进程独立加载一次模型。进程之间内存隔离，不会出现线程安全问题。比如用Gunicorn启动：

gunicorn --workers=4 api:app

注意：这种方式会增加内存占用（每个worker都要加载一次模型），适合模型体积不大的场景。

3. 修复模型的线程安全性 #

检查你的FaceRecog.Face和ObjectDetect.Object类的detect()方法，看是否存在修改实例状态的操作（比如修改self下的变量）。如果有，把这些状态变量改成方法内的局部变量，或者对共享状态加锁（但锁会降低并发性能，不推荐高并发场景使用）。

比如，如果detect()里有这样的代码：

def detect(self, image):
    self.temp_array = cv2.resize(image, (640, 640))
    # 后续检测逻辑

就把self.temp_array改成局部变量：

def detect(self, image):
    temp_array = cv2.resize(image, (640, 640))
    # 后续检测逻辑

总结 #

你不需要把模型放到session里，核心是让每个线程/进程拥有独立的模型实例，避免多线程同时访问同一个实例的非线程安全状态。优先选择线程本地存储的方案，兼顾性能和线程安全。

内容的提问来源于stack exchange，提问作者user1361529