Onnx批量预测慢于单张顺序推理？ENet模型GPU性能异常排查

问题背景 #

我有一个用于图像分割的ENet模型，在TensorFlow训练完成后转成了ONNX格式，目前在C# .NET6桌面应用中基于CUDA和OnnxRuntime开展GPU推理。测试发现：一次性对16张512×512×3的图像做批量推理耗时3.5秒，但连续执行16次单张推理总耗时仅1.5秒，无法定位异常原因。

代码片段 #

较慢的批量推理调用 #

var tensor = new DenseTensor<float>(data, new[] { 16, 3, 512, 512 });

var inputs = new List<NamedOnnxValue>()
    {
        NamedOnnxValue.CreateFromTensor(INPUT_COLUMN_NAME, tensor)
    };

return _session.Run(inputs).ElementAt(0).AsTensor<float>().ToArray();

更快的单张循环推理调用 #

var tensor = new DenseTensor<float>(data, new[] { 1, 3, 512, 512 });

var inputs = new List<NamedOnnxValue>()
    {
        NamedOnnxValue.CreateFromTensor(INPUT_COLUMN_NAME, tensor)
    };

return _session.Run(inputs).ElementAt(0).AsTensor<float>().ToArray();

可能的原因及解决方案 #

• ONNX模型批量兼容性不足：TensorFlow转ONNX时，可能未正确保留批量维度的优化逻辑，或原ENet训练阶段未针对批量输入做适配。可重新使用tf2onnx转换，添加--dynamic_batch或--batch_size 16参数，确保模型支持动态批量或指定批量的优化。
• GPU内存分配策略问题：批量推理需一次性分配更大显存，可能触发显存碎片化或慢分配。初始化Session时可配置SessionOptions开启显存复用：

  var sessionOptions = new SessionOptions();
  sessionOptions.GpuDeviceId = 0;
  sessionOptions.SetGraphOptimizationLevel(GraphOptimizationLevel.ORT_ENABLE_ALL);
  sessionOptions.EnableMemoryPattern = true; // 启用内存复用
  _session = new InferenceSession(modelPath, sessionOptions);
  

• 数据拷贝额外开销：批量输入的DenseTensor创建与数据拷贝开销可能高于单张多次操作。可尝试提前预分配GPU内存张量，直接在GPU上创建数据，避免反复从CPU拷贝到GPU。
• OnnxRuntime优化级别未拉满：检查是否开启全部GPU优化，确保GraphOptimizationLevel设为ORT_ENABLE_ALL，若模型支持，可开启CUDA半精度优化：

  sessionOptions.AppendExecutionProvider_CUDA(new CUDAExecutionProviderOptions { EnableHalfPrecision = true });
  

• 模型输入维度静态绑定：若转换后的ONNX模型输入维度固定为[1,3,512,512]，强行传入批量16会触发动态形状重计算，产生额外开销。可用Netron查看模型输入维度，若为静态，重新转换时指定动态批量（如[N,3,512,512]）。

内容的提问来源于stack exchange，提问作者Michal Cicatka