TensorFlow动态范围量化推理权重转float32的实现逻辑疑问

官方规则说明：推理阶段，权重会从8bit精度转换为浮点型，采用浮点核执行计算，该转换仅执行一次且会被缓存以降低延迟。此外动态范围量化规则中，激活值始终以float32格式存储，但在计算过程中会被转换为8bit整数，计算完成后再转回浮点型。

即便推理时权重已经被转换为float32缓存，动态范围量化的收益仍然体现在三个核心维度：

• 模型存储与加载效率大幅提升
  量化完成的模型权重始终以8bit格式静态存储，整体体积仅为float32全精度模型的1/4，既降低了磁盘占用，也减少了模型分发下载、加载到运行内存环节的IO耗时与带宽消耗，对端侧部署场景的收益尤为突出。
• 运算过程内存带宽占用显著降低
  推理计算阶段，激活值会被临时量化为8bit参与运算，相比全float32精度推理，运算过程中读写中间激活数据的带宽需求直接降低75%，在内存带宽受限的端侧、嵌入式设备上，能直接提升推理速度、降低设备运行功耗。
• 硬件高速缓存命中率提升
  8bit格式的激活数据占用空间更小，运算过程中可以更好地适配CPU、GPU的高速缓存空间，提升缓存命中率，减少缓存失效带来的额外延迟，即便使用浮点核执行计算也能获得明显的速度收益。

内容的提问来源于stack exchange，提问作者parichehr vahidinia