无需重训改架构的视频模型Web部署延迟优化方法及检查清单

核心优化思路 #

硬件&运行时优化 #

• 替换推理后端：优先使用TensorRT对模型做算子融合+INT8量化（K80对FP16算力支持有限，INT8量化无需重训仅需少量校准数据，速度最高可提升3倍左右），次选ONNX Runtime + CUDA ExecutionProvider，比原生PyTorch/TensorFlow推理速度高30%以上。
• 优化GPU资源占用：通过CUDA_VISIBLE_DEVICES指定单卡独占，关闭其他占用GPU显存/算力的进程，避免显存置换、算力抢占导致的延迟波动。
• 小批量推理：视频属于连续帧输入，可将多帧攒为小batch并行推理，batch大小设置为不触发显存交换的最大值，可大幅提升GPU利用率，降低单帧平均推理耗时。

计算量裁剪优化 #

• 消除时序冗余：利用视频帧间内容相似性，可设置跳帧策略（比如每2帧推理1次，相邻帧复用前序结果），也可新增轻量帧差检测，内容变化幅度低于阈值直接跳过推理，最多可减少50%的推理次数。
• 预处理/后处理迁移到GPU：用NVDEC做GPU硬解视频，通过DALI或者TorchVision的GPU算子实现resize、归一化等预处理，后处理的结果过滤、坐标映射也同步迁移到GPU侧执行，避免CPU-GPU频繁数据拷贝，可减少20%-40%的端到端耗时。

流程调度优化 #

• 串行改异步流水线：当前多模型串行处理的逻辑可调整为流水线架构，第一个模型处理完第N帧后直接送给第二个模型，无需等待第一个模型处理完所有帧再往下传递，整体端到端耗时最多可降低至单模型耗时的1.2倍左右。

推理速度优化检查清单 #

• 运行环境检查
  • 是否使用了CUDA加速的推理后端，而非CPU推理
  • 驱动、CUDA、CUDNN、推理框架版本是否匹配，是否开启了当前GPU支持的所有运算特性
  • 推理过程中是否有其他进程占用GPU算力/显存
• 模型侧优化检查
  • 是否完成了算子融合（比如Conv+BN层权重合并，无需重训可直接通过框架工具实现）
  • 是否完成了低精度量化（精度损失在业务可接受范围内）
  • 是否移除了训练阶段专用的无用算子（比如损失计算层、调试日志层）
• 输入输出优化检查
  • 是否开启了批处理，batch大小是否适配当前剩余显存
  • 预处理/后处理是否已迁移到GPU侧，是否最小化了CPU-GPU数据拷贝的次数和数据量
  • 是否完成了输入冗余裁剪（比如视频跳帧、无效区域裁剪）
• 调度逻辑优化检查
  • 多模型串行是否改为了流水线调度，是否存在模型空等的情况
  • 推理请求是否做了队列合并，是否存在频繁的零散小batch推理
  • 是否开启了异步推理，避免IO阻塞GPU算力

问题分析框架 #

1. 瓶颈定位：给全流程每个环节（视频解码、预处理、推理、后处理、数据传输、多模型等待）做耗时打点，计算各环节耗时占比，优先优化占比最高的瓶颈环节。
2. 资源排查：实时监控CPU/GPU利用率、显存/内存占用、PCIE带宽占用，判断当前瓶颈属于算力不足、显存不够还是数据传输阻塞。
3. 单变量验证：每次仅调整一个优化参数，同步验证优化后的速度提升幅度和精度损失，确保精度符合业务要求后再推进下一项优化。
4. 压测调优：用真实业务的视频输入做长时压测，调整batch大小、流水线长度、跳帧阈值等参数，找到当前硬件下的最优性能配置。

内容的提问来源于stack exchange，提问作者Mohamed Zahran