如何估算神经网络在移动手机端的推理运行时长

26k参数的模型本身规模很小，正常优化后移动端推理大多能到毫秒级，要精准估算可以按以下步骤操作：

第一步：统计模型的实际运算量（注意参数量≠计算量） #

• 首先要明确，参数量只代表权重占用的内存空间，和推理运算量没有直接正比关系，比如同样参数量的全连接层运算量远高于卷积层，你需要优先统计模型的乘加运算量（MACs）。
• 你可以用工具直接统计：PyTorch用thop库，TensorFlow用tf.profiler，一行代码就能拿到模型单样本推理的总MACs，26k参数的小模型一般MACs会在10M以内。

第二步：结合设备算力计算理论推理时长 #

• 先查询目标设备的FP16/INT8算力，当前移动端芯片基本都支持AI加速：
  • 普通手机CPU的FP16算力大概在10~100 GFLOPS（1 GFLOPS=每秒10亿次浮点运算），注意1次MAC等于2次浮点运算，所以要把MACs先乘2转成FLOPs再计算
  • 带NPU/APU的旗舰手机，INT8算力能到10~30 TOPS，比CPU快几十到上百倍
• 理论推理时长计算公式：理论时长（秒）= 模型FLOPs / 设备有效算力

注意这里的有效算力不是官方标注的峰值算力，实际移动端跑推理时受内存带宽、系统调度限制，CPU的有效算力一般只有峰值的30%_{50%，NPU的有效算力能到峰值的40%}70%

第三步：补充额外开销修正估算结果 #

理论值和实际运行值会有偏差，你需要叠加这几部分常见开销：

• 数据拷贝开销：输入从内存拷贝到计算单元、输出回拷的时间，小模型的这部分开销占比可能比计算本身还高，一般在1~5ms左右
• 框架调度开销：不同推理框架（NCNN、MNN、TFLite）的调度效率不同，优化较差的框架可能额外增加2~10ms的开销
• 量化转换开销：如果做了INT8量化，还要叠加量化、反量化的时间，优化到位的框架这部分基本可以忽略。

小模型参考结论 #

你这个26k参数的小模型，只要结构没有极端不合理的设计，优化到位的情况下，中端安卓手机NPU推理时长基本在10ms以内，CPU推理也能到20ms以内，完全满足实时推理的要求，要拿到最精准的结果直接用目标手机跑实际测试是最靠谱的。

内容的提问来源于stack exchange，提问作者jo Mamdouh