如何计算CPU上NN及TensorFlow CNN单张图像的推理时间

• 首先排除环境干扰：关闭无关后台进程，Linux环境下可通过taskset -c <核心编号> <运行命令>绑定进程到指定CPU核心，避免跨核调度开销；提前通过环境变量固定底层线性代数库线程数，例如设置OMP_NUM_THREADS、MKL_NUM_THREADS、OPENBLAS_NUM_THREADS为和绑定核心数匹配的数值，关闭多线程动态调度。
• 跳过初始化阶段耗时：模型加载、权重拷贝、内存分配、算子初始化、CPU缓存预热等操作都集中在模型启动后的前几次推理，这部分耗时不属于稳定推理的统计范围，正式计时前需要连续跑5~20次空推理，待运行状态稳定后再开始采样。
• 采样与统计规则：
  • 计时接口选微秒级精度的原语：Python端用time.perf_counter()，C++端用std::chrono::high_resolution_clock，不要用time.time()这类受系统时钟同步影响、精度仅毫秒级的接口。
  • 计时区间仅覆盖模型前向传播逻辑，严格排除数据预处理、结果后处理、日志打印、结果拷贝到非推理设备的操作。
  • 连续采样100~1000次推理（保证总采样时长不短于1s，降低随机误差），记录每次推理耗时$t_i$，按以下公式计算最终指标：

    平均推理耗时 $T_{avg} = \frac{1}{N}\sum_{i=1}^{N} t_i$
    耗时标准差 $\sigma = \sqrt{\frac{1}{N}\sum_{i=1}^{N}(t_i - T_{avg})^2}$
    P99尾延迟 $T_{p99}$：将所有$t_i$升序排列后，取第99%分位的数值

  • 不要用单次推理结果作为最终值，CPU的动态频率调整、系统中断都会带来单次耗时波动，统计值的参考价值远高于单次结果。

• 前置配置：
  • 固定框架线程数：CPU侧推理提前通过tf.config.threading.set_intra_op_parallelism_threads()、tf.config.threading.set_inter_op_parallelism_threads()设置算子内、算子间并行线程数，避免动态调度波动。
  • 优先使用静态图模式：Eager模式下存在Python侧调度开销，和生产部署的执行逻辑存在差异，推理逻辑需要用@tf.function装饰器编译为静态图，保证测算结果和实际部署性能对齐。
  • 预热：正式采样前连续跑10~30次单张推理，跳过静态图trace、OneDNN/cuDNN卷积算法选型、权重加载到设备缓存的初始化耗时。
• 端到端单张推理耗时计算：
  输入张量固定为单张形状(1, H, W, C)的预处理完成张量，推理时显式指定training=False，关闭Dropout、BatchNorm的训练态逻辑。GPU环境下由于算子默认异步执行，每次推理后需要触发设备同步再停止计时，避免统计值偏低。参考实现如下：

  import time
  import tensorflow as tf
  
  # 加载模型、准备预处理完成的单张输入张量
  # model = tf.keras.models.load_model("your_cnn_model")
  # input_tensor = ... # 形状(1, H, W, C)，已完成归一化、维度调整
  
  # 预热
  for _ in range(20):
      _ = model(input_tensor, training=False)
  tf.sync_devices() # GPU环境必须加，等待所有设备操作完成
  
  # 采样
  time_list = []
  sample_num = 200
  for _ in range(sample_num):
      t_start = time.perf_counter()
      out = model(input_tensor, training=False)
      tf.sync_devices() # 同步设备，保证算子全部执行完成
      t_end = time.perf_counter()
      time_list.append(t_end - t_start)
  
  # 计算单张平均推理耗时，统计公式和前述CPU通用计算逻辑一致
  avg_infer_time = sum(time_list) / sample_num * 1000 # 转换为毫秒
  print(f"单张图像平均推理耗时: {avg_infer_time:.2f}ms")
  

• 细分算子耗时查找：
  如果需要定位每个卷积层、池化层、激活层的单独耗时，不需要手动在层间插入计时逻辑，直接使用TensorFlow内置的Profiler工具：调用tf.profiler.experimental.start()启动trace采集，跑完若干次推理后停止采集，生成的性能日志可以直接查看每个算子的self time（算子自身执行耗时，不含子算子）和total time（算子包含所有子流程的总耗时），可以直接定位CNN推理的性能瓶颈点。
• 常见误差规避：
  • 计时区间内不要调用tf.print、张量转numpy数组这类触发主机-设备数据拷贝的操作，会额外引入同步开销。
  • 不要把batch推理的耗时除以batch size作为单张耗时，batch场景下框架会触发算子批量融合、内存复用优化，和单张推理的执行路径存在差异，结果不具备参考性。

内容的提问来源于stack exchange，提问作者Doren