ONNX转TF-Lite模型体积暴增：75KB到150MB的原因及解决方法

• 常量折叠过度优化：TF-Lite转换固定大尺寸输入模型时，会将原本动态计算的操作（如高斯核生成、上采样插值的坐标网格）预计算为静态常量张量。大输入尺寸下，这些常量的体积随输入分辨率呈平方级增长，直接导致模型体积暴涨；小输入时常量尺寸小，体积变化不明显。
• 静态形状固化：你的ONNX模型本身支持动态形状，但转换TF-Lite时指定了固定的大输入尺寸，转换工具会把所有动态维度替换为具体数值，将动态操作固化为针对该尺寸的静态实现，其中包含大量预生成的中间常量数据。
• 算子专用实例化：TF-Lite对固定大输入的算子会生成尺寸专用的优化实现，这类实现会嵌入适配该尺寸的预计算参数（如上采样的映射关系表），进一步增大了模型体积。

• 保留动态输入形状：转换TF-Lite时不指定固定的大输入尺寸，让模型支持动态维度。以TensorFlow为例，使用tf.lite.TFLiteConverter时不要设置input_shapes参数，转换后的模型不会预生成大尺寸常量，体积会保持和ONNX相近的大小，推理时再传入实际的大尺寸输入即可。
• 启用模型量化：应用INT8或FP16量化压缩模型。即使存在大尺寸常量，量化后也能降低数据精度，大幅减小体积。可通过tf.lite.Optimize.DEFAULT开启默认量化，或使用校准数据集做量化感知训练进一步优化。
• 修改ONNX导出逻辑：在PyTorch导出ONNX时，确保高斯核是在模型前向传播中动态生成的（比如用torch.exp结合距离公式实时计算），而非预先计算好作为静态常量存入模型。这样TF-Lite转换时不会将大尺寸的核相关数据固化为常量。
• 调整转换优化策略：关闭TF-Lite转换中的过度常量折叠优化。可以尝试设置optimizations = []关闭默认优化，或自定义优化选项，避免动态操作被强制转换为静态常量。

内容的提问来源于stack exchange，提问作者Simon