You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

如何解读TensorFlow Lite benchmark app的测试输出结果?

TensorFlow Lite Benchmark 输出参数释义

你提供的测试输出日志如下:

E tflite  : Average inference timings in us: Warmup: 119501, Init: 3556, Inference: 135968, Overall max resident set size = 32.0469 MB, total malloc-ed size = 0 MB, in-use allocated/mmapped size = 13.3229 MB

各参数具体含义如下:

  • Warmup:预热阶段总耗时,单位为微秒(us)。benchmark工具正式统计性能前会先运行若干次推理,让CPU/GPU/NPU等硬件进入稳定工作状态、消除初始频率波动对测试结果的干扰,这部分运行的总耗时即为Warmup值,不会计入正式推理性能统计。
  • Init:模型初始化耗时,单位为微秒(us)。指TFLite解释器(Interpreter)加载模型文件、注册算子、分配运行基础资源的总耗时,仅在任务启动时执行一次。
  • Inference:单轮推理平均耗时,单位为微秒(us)。指预热完成后,多轮正式测试中每执行一次完整推理的平均耗时,是衡量模型推理性能的核心指标。
  • Overall max resident set size:进程最大驻留集大小,即测试全流程中,该TFLite进程实际占用的物理内存峰值,不包括交换到磁盘的虚拟内存部分。
  • total malloc-ed size:通过标准malloc类接口分配的堆内存总大小。如果测试时使用了GPU/NPU等硬件加速Delegate,这类场景的内存通常直接通过硬件驱动mmap分配,不会走通用malloc接口,因此该值显示为0属于正常情况。
  • in-use allocated/mmapped size:当前实际正在使用的已分配/内存映射总大小,覆盖堆内存、驱动映射的硬件加速内存等所有该进程激活占用的内存,是实际生效的内存占用指标。

内容的提问来源于stack exchange,提问作者Luiz Vitor Reis

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.02 13:24:00