多线程调用Detectron2时GPU预测性能大幅下降该如何解决？

性能下降核心原因 #

• 预测线程空轮询抢占资源：你实现的predict_frames函数在无新帧时执行死循环continue，会持续占用CPU时间片与Python全局解释器锁(GIL)，导致预测过程中CPU侧的图像预处理、张量拷贝等逻辑无法获得足够算力，间接拉长GPU预测的整体耗时。
• CUDA上下文切换开销：DefaultPredictor是在主线程完成初始化的，CUDA上下文默认绑定初始化所在线程，子线程调用该预测器时需要频繁切换CUDA上下文，这部分额外开销会直接拉高单帧预测耗时。
• GIL抢占冲突：send_frames线程的帧读取、休眠操作，和预测线程的空轮询逻辑会与预测核心逻辑争抢GIL，导致GPU调用的CPU侧触发逻辑被频繁打断，GPU无法维持满负载运行。

多进程启动卡住的原因 #

你在主进程中先完成了CUDA版本Detectron2模型的初始化，再启动子进程。spawn模式下子进程会尝试继承父进程的CUDA上下文，而CUDA上下文本身不支持跨进程共享，就会导致进程启动时直接死锁。 #

优化方案 #

多线程场景优化 #

1. 替换空轮询为阻塞等待机制，用threading.Condition实现新帧通知，避免无意义的资源占用：

# 新增帧同步条件变量
frame_condition = threading.Condition()

def send_frames():
    for frame in get_frames(video):
        with frame_condition:
            frames_buffer.append(frame)
            frame_condition.notify() # 写入新帧后唤醒预测线程
        time.sleep(random.uniform(0.3, 2.1))

def predict_frames():
    predicted_frames = 0
    while predicted_frames < num_frames:
        with frame_condition:
            # 无新帧时阻塞等待，主动释放GIL与CPU资源
            while len(frames_buffer) <= predicted_frames:
                frame_condition.wait()
        # 处理所有未预测的帧
        for frame in frames_buffer[predicted_frames:]:
            with CodeTimer('In stream prediction'):
                predictions.append(predictor(frame))
            predicted_frames += 1

2. 将predictor的初始化逻辑移到预测子线程内部执行，让CUDA上下文直接绑定预测线程，避免跨线程上下文切换开销。
3. 可显式使用torch.cuda.Stream开启CUDA异步处理，让数据拷贝和模型计算并行执行，进一步压缩耗时。

多进程场景适配 #

如果要切换多进程实现，必须调整模型初始化时机，完全在子进程内部完成CUDA模型的加载，主进程不要提前初始化任何CUDA相关对象：

import torch.multiprocessing as mp

def predict_worker(frame_queue, result_queue):
    # 子进程内部单独初始化模型
    cfg = get_cfg()
    cfg.merge_from_file(model_zoo.get_config_file("COCO-Keypoints/keypoint_rcnn_R_50_FPN_3x.yaml"))
    cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = 0.7
    cfg.MODEL.WEIGHTS = model_zoo.get_checkpoint_url("COCO-Keypoints/keypoint_rcnn_R_50_FPN_3x.yaml")
    cfg.MODEL.DEVICE = "cuda"
    predictor = DefaultPredictor(cfg)
    
    while True:
        frame = frame_queue.get()
        if frame is None: # 收到结束信号退出
            break
        res = predictor(frame)
        result_queue.put(res)

if __name__ == "__main__":
    mp.set_start_method('spawn')
    frame_queue = mp.Queue(maxsize=10)
    result_queue = mp.Queue()
    predict_proc = mp.Process(target=predict_worker, args=(frame_queue, result_queue))
    predict_proc.start()
    # 主进程仅负责读帧、推帧到队列，不要初始化任何CUDA相关对象
    # 后续send_frames逻辑改为往frame_queue写入帧即可

内容的提问来源于stack exchange，提问作者SagiZiv