为何model_q4.onnx与model_q4f16.onnx未达fp32模型1/4大小？

疑问1：model_q4.onnx的实际大小为何高于理论计算值？ #

首先纠正一个计算误区：fp32模型的权重是32位（4字节），4bit量化是将每个权重压缩为4位（0.5字节），理论权重大小应为 654 MB ÷ 8 = 81.75 MB，而非你计算的163.5 MB（你误将4bit等价为8位/1字节，实际是半字节）。

实际大小达到200 MB的原因包括：

• 量化元数据开销：4bit量化通常采用分组量化策略（如每128个权重为一组），每组需要额外存储缩放因子、零点偏移等量化参数，这些参数一般以fp32格式存储，会占用额外空间。
• ONNX模型结构开销：模型文件不仅包含权重，还包含ONNX的protobuf结构定义（如节点、张量信息、量化算子配置等），这部分数据在量化模型中会因新增量化相关节点而略有增加，叠加权重和量化元数据后，总大小就会达到200 MB级别。

疑问2：model_q4f16.onnx的实际大小为何低于4bit权重的理论值？ #

你提到的“激活不占用模型大小”是正确的，激活是推理时动态生成的，不会存储在模型文件中。该模型大小低于预期的原因如下：

• 量化参数的优化存储：这里的q4f16大概率是指权重用4bit存储，而量化所需的缩放因子、零点偏移等元数据改用fp16格式存储（而非常规的fp32），这直接让量化元数据的大小减半，大幅降低了总开销。
• 更紧凑的量化实现：该模型可能采用了更高效的权重打包方式，或是对部分非核心层（如嵌入层、输出层）采用了更适配的量化策略，进一步压缩了整体体积，最终总大小降至134 MB。

内容的提问来源于stack exchange，提问作者Franck Dernoncourt