如何解读TensorFlow Lite benchmark app的测试输出结果?
TensorFlow Lite Benchmark 输出参数释义
你提供的测试输出日志如下:
E tflite : Average inference timings in us: Warmup: 119501, Init: 3556, Inference: 135968, Overall max resident set size = 32.0469 MB, total malloc-ed size = 0 MB, in-use allocated/mmapped size = 13.3229 MB
各参数具体含义如下:
- Warmup:预热阶段总耗时,单位为微秒(us)。benchmark工具正式统计性能前会先运行若干次推理,让CPU/GPU/NPU等硬件进入稳定工作状态、消除初始频率波动对测试结果的干扰,这部分运行的总耗时即为Warmup值,不会计入正式推理性能统计。
- Init:模型初始化耗时,单位为微秒(us)。指TFLite解释器(Interpreter)加载模型文件、注册算子、分配运行基础资源的总耗时,仅在任务启动时执行一次。
- Inference:单轮推理平均耗时,单位为微秒(us)。指预热完成后,多轮正式测试中每执行一次完整推理的平均耗时,是衡量模型推理性能的核心指标。
- Overall max resident set size:进程最大驻留集大小,即测试全流程中,该TFLite进程实际占用的物理内存峰值,不包括交换到磁盘的虚拟内存部分。
- total malloc-ed size:通过标准malloc类接口分配的堆内存总大小。如果测试时使用了GPU/NPU等硬件加速Delegate,这类场景的内存通常直接通过硬件驱动mmap分配,不会走通用malloc接口,因此该值显示为0属于正常情况。
- in-use allocated/mmapped size:当前实际正在使用的已分配/内存映射总大小,覆盖堆内存、驱动映射的硬件加速内存等所有该进程激活占用的内存,是实际生效的内存占用指标。
内容的提问来源于stack exchange,提问作者Luiz Vitor Reis
相关产品推荐
相关产品推荐

