TF2+TF-TRT FP16量化后模型体积未减半反而增大问题咨询

• 首先要明确：TF-TRT的量化逻辑和TensorFlow Lite的全图量化逻辑完全不同，体积变化规律本身就不一样。TFLite是对整图所有支持的算子执行精度转换，完成后直接丢弃原始FP32权重，所以体积正好缩减一半；但TF-TRT的核心逻辑是拆分计算图中支持TensorRT加速的子图，封装成TRT引擎节点，不支持的算子保留原生TensorFlow实现和原始FP32权重，这部分未被量化的权重本身就没有体积收益。
• 封装后的TRTEngineOp节点除了FP16权重之外，还会存储大量额外运行时数据：包括TensorRT生成的硬件专属优化执行计划、张量维度/布局元数据、精度退化时的fallback权重备份等，这部分额外数据的体积往往会超过FP16相比FP32节省的空间，直接拉高整体模型体积。
• 转换参数设置不当也会加剧体积膨胀：如果minimum_segment_size参数设置过小会拆分出大量细碎的TRT引擎节点，每个节点都有独立的元数据开销，重复冗余的元数据会额外占用更多空间；如果未开启allow_build_at_runtime配置，转换阶段会把所有适配当前GPU的执行计划全部固化到模型文件中，也会带来额外的体积增量。
• TF-TRT默认输出的SavedModel默认会保留原始未转换的FP32计算图作为fallback分支，相当于模型文件中同时存储了两份计算图的元数据和原始权重，这是很多用户遇到体积不降反升的最常见原因。

内容的提问来源于stack exchange，提问作者GodHJ