符合学术规范的神经网络推理耗时测量相关问题咨询

以下是符合顶会通用实践的操作建议，对应你的三个问题逐一说明：

• 问题1：batch size选择
  两种选择都有适用场景，需在论文中明确标注即可：

  • 若你的研究面向实时推理、端侧部署等单样本响应场景，统一使用batch size=1测试，这也是绝大多数推理优化类工作的默认上报指标
  • 若你的研究面向批量数据处理、硬件吞吐性能优化，可使用对应硬件的最优batch size测试，需同步标注最优batch size的取值
    无论选择哪种，都需要同步标注测试所用硬件型号、CUDA/cuDNN、PyTorch版本等环境信息，避免结果不可复现。

• 问题2：计时范围界定
  通用默认标准是仅统计纯推理环节耗时：即输入数据已经完成预处理、并迁移到GPU显存后，从模型前向计算启动到输出结果完全生成的时间，不含数据拷贝、预处理、后处理环节。
  如果你的工作是面向端到端部署pipeline的优化，可以额外统计包含数据迁移、预处理、后处理的全链路耗时，但必须明确说明两个耗时的统计范围，避免混淆。
  附PyTorch标准计时代码示例：

  import torch
  
  # 初始化计时事件
  starter = torch.cuda.Event(enable_timing=True)
  ender = torch.cuda.Event(enable_timing=True)
  
  # 预热环节：提前跑10-20次推理
  for _ in range(10):
      _ = model(input_gpu) # input_gpu是已完成预处理、迁移到GPU的输入
  
  # 正式计时
  starter.record()
  output = model(input_gpu)
  ender.record()
  # 等待GPU所有计算完成
  torch.cuda.synchronize()
  # 得到单轮推理耗时，单位为毫秒
  single_latency = starter.elapsed_time(ender)
  

• 问题3：迭代次数要求
  最低要求是正式计时迭代不少于100次，小模型、延迟波动大的场景建议提升到1000次以上。统计平均耗时前建议去掉前若干次的异常值（通常去掉前5%和后5%的最高/最低耗时），除了平均值外建议同步上报标准差，增强结果可信度。如果是要做不同方法的性能显著性对比，建议迭代次数不低于500次，且做统计显著性校验。

内容的提问来源于stack exchange，提问作者adam