将PyTorch模型转换为ONNX或TensorRT格式时参数量和FLOPS是否会变化？

以下讨论默认基于仅做格式转换、不额外开启模型压缩/量化/结构修改的标准流程，特殊场景会单独说明：

参数量变化情况 #

• 标准无优化转换：参数量完全不变。PyTorch转ONNX本质是把PyTorch动态计算图转换成ONNX的静态计算图，同时把所有权重按原数值、原数量序列化存储，没有任何增删修改；转TensorRT时如果仅开启算子融合、内存排布优化这类不触碰权重的优化，权重的数量和数值也完全不变，参数量和原生PyTorch模型完全一致。
• 特殊场景下会发生变化：
  • 开启量化：比如FP32转FP16/INT8量化时，权重的存储位宽降低，按存储体积统计的参数量会下降，但权重的数值个数不会变；
  • 开启结构化剪枝、模型蒸馏等压缩策略：转换时如果同时做了结构精简，冗余的通道、神经元被直接删除，权重的数值个数会减少，参数量会明显下降。

FLOPS变化情况 #

首先区分两个容易混淆的概念：

总计算量（FLOPs，小写s）：指模型完成一次前向推理需要执行的浮点运算总次数，是衡量模型计算复杂度的静态指标；
实际运行性能（FLOPS，大写S）：指硬件每秒可以执行的浮点运算次数，是衡量推理效率的动态指标。

• 总计算量（FLOPs）：绝大多数场景下变化极小。如果仅做基础格式转换、没有开启算子融合，总计算量和原生PyTorch完全一致；如果开启了算子融合（比如TensorRT默认开启的Conv+BN+ReLU融合），会省去BN、激活层独立计算的少量浮点运算，总FLOPs会有微小幅度的下降，但不属于量级变化。如果开启了量化，大量浮点运算被替换为整型运算，总浮点运算次数会明显下降；如果开启了结构剪枝，总计算量也会同步下降。
• 实际运行性能（FLOPS）：转换后通常会明显提升。ONNX Runtime、TensorRT等部署框架会针对计算图做大量软硬件适配优化，减少不必要的调度开销、提升硬件利用效率，相同硬件下每秒可以执行的浮点运算次数会远高于原生PyTorch的推理性能。

内容的提问来源于stack exchange，提问作者iemej