为何TensorRT引擎需预热才能获得准确的推理性能分析结果？

trtexec工具的--help指令说明：--warmUp=N 在性能测量前运行N毫秒进行预热（默认值为200）。不少人会疑惑：既然模型及前向传播所需的中间缓冲区在加载阶段就已完成分配，原本以为唯一的性能瓶颈是主机到设备（Host to Device）的内存传输，而NVIDIA官方文档也提到其入队策略已修正该问题，那为什么还需要预热？

以下是导致初始性能瓶颈的几个关键因素：

• GPU硬件的动态调整延迟：GPU的流式多处理器（SM）、Tensor Core等核心单元在首次运行时通常处于低功耗待机状态，需要完成唤醒、时钟频率拉升至峰值等操作，前几次迭代的性能会明显低于稳定状态。
• CUDA运行时的惰性初始化：尽管模型和缓冲区已提前分配，但部分CUDA内核、驱动层资源（如上下文配置、内存池优化）是在首次执行时才完成真正的初始化，甚至部分细粒度的内核适配会延迟到首次运行时完成。
• 推理引擎的缓存建立：TensorRT引擎在运行过程中会逐步构建算子执行路径缓存、内存访问模式优化缓存等，这些缓存需要经过几次迭代才能完全生效，让推理过程进入最优的稳定状态。
• 系统调度的初始开销：首次推理时，操作系统需要完成GPU进程的调度、硬件资源绑定等操作，这些开销在后续运行中会被分摊或消除，初始阶段的延迟会被放大。

内容的提问来源于stack exchange，提问作者Ridham Zalavadia