Keras.Net：模型作为全局变量时Predict方法无响应的解决方法

嘿，这个问题我之前处理过类似的场景，咱们一步步拆解原因和解决方案：

最可能的原因：线程安全冲突 #

相机流的Process方法通常是在多线程环境下被调用的（比如相机回调线程、帧处理线程池），而很多模型推理框架的模型实例（比如ONNX Runtime、TensorFlow.NET的模型）默认不是线程安全的。当你把模型设为全局变量后，多个线程同时调用model.Predict()就会导致内部资源竞争，进而出现死锁或无限挂起的情况。而每帧加载模型时，每个线程都有独立的模型实例，自然不会有冲突。

解决办法：给Predict调用加线程锁 #

给全局模型的Predict调用加一个独占锁，确保同一时间只有一个线程在执行推理：

private BaseModel model;
private readonly object _modelLock = new object(); // 新增锁对象

public void Initialize()
{
    model = BaseModel.LoadModel(networkPath);
    // 可选：预热模型，提前初始化内部资源
    var testInput = np.zeros(new[] {1, inputSize.Height, inputSize.Width, 3}, np.float32);
    model.Predict(testInput);
    ((IDisposable)testInput)?.Dispose();
}

public dynamic Process(Mat frame)
{
    var mat = new Mat();
    Cv2.Resize(frame, mat, inputSize);
    var image_in = mat.Convert(np.uint8);
    image_in = np.asfarray(image_in, np.float32);
    image_in /= 256;
    image_in = np.expand_dims(image_in, 0);
    
    dynamic output;
    // 加锁保护模型推理过程
    lock(_modelLock)
    {
        output = model.Predict(image_in);
    }
    
    output = output[0];
    // 手动释放张量资源（避免内存泄漏）
    ((IDisposable)image_in)?.Dispose();
    mat.Dispose();
    return (Input: image_in, Output: output);
}

次要排查方向：资源泄漏/上下文不匹配 #

如果加锁后还是有问题，那可能是张量资源没有正确释放，导致模型内部的内存池被耗尽，进而挂起；或者是模型初始化的上下文（比如CUDA上下文）和推理线程的上下文不匹配。

资源释放优化 #

确保所有Mat和numpy张量都被正确释放，用using语句自动管理非托管资源：

public dynamic Process(Mat frame)
{
    using(var mat = new Mat())
    {
        Cv2.Resize(frame, mat, inputSize);
        using(var uint8Tensor = mat.Convert(np.uint8))
        {
            var image_in = np.asfarray(uint8Tensor, np.float32);
            image_in /= 256;
            image_in = np.expand_dims(image_in, 0);
            
            dynamic output;
            lock(_modelLock)
            {
                output = model.Predict(image_in);
            }
            
            output = output[0];
            ((IDisposable)image_in)?.Dispose();
            return (Input: image_in, Output: output);
        }
    }
}

上下文匹配检查 #

如果你的模型用了GPU加速（比如CUDA），要确保模型初始化和推理在同一个CUDA上下文里。有些框架会自动切换，但如果不行，可以尝试在Initialize方法中显式绑定当前线程的上下文，或者在Process方法中检查上下文是否有效。

内容的提问来源于stack exchange，提问作者NM138