TensorFlow模型转TFLite后内存占用增大？原因与对比方法问询

为什么内存中TFLite模型字节数组比原模型计算值大？ #

你的测量方式存在不公平性，核心原因是两者的统计范围完全不同：

• 原模型的sum(weight.numpy().nbytes for weight in model.trainable_weights)仅统计了可训练权重的字节数，完全忽略了模型的其他关键组成部分：非可训练权重（如BN层的均值/方差）、层配置、计算图结构、元数据等。这个数值只是模型权重的子集，并非完整模型的内存占用。
• TFLite的len(tflite_model)是完整序列化模型的字节数，包含了运行边缘设备所需的所有信息：权重（已量化）、算子定义、张量形状、量化参数、模型结构描述等。这些额外的元数据会增加字节数组的大小，但它们是模型运行必需的。

为什么磁盘上TFLite模型有压缩优势？ #

当你将模型持久化到磁盘时，两者的对比才是完整模型的真实大小：

• Keras模型完整保存（如model.save('model.h5')）的文件会包含所有权重、结构、元数据，其大小远大于你统计的33.4KB。
• TFLite模型开启了OPTIMIZE_FOR_SIZE和float16量化，权重被压缩为float16（体积是原float32的一半），同时TFLite的序列化格式本身对结构和元数据的存储更紧凑，因此磁盘文件会比完整的Keras模型文件小。

如何进行公平对比？ #

1. 内存占用对比 #

要统计Keras模型的完整序列化大小，需包含所有权重和结构：

import io
from tensorflow.keras.models import model_from_json

# 统计所有权重（可训练+非可训练）的大小
all_weights_size = sum(w.numpy().nbytes for w in model.weights)
# 统计模型结构序列化的大小
model_json = model.to_json()
structure_size = len(model_json.encode('utf-8'))
# 完整序列化模型的近似内存大小
full_keras_model_size = all_weights_size + structure_size
print(f'完整Keras模型序列化大小: {full_keras_model_size / 1024:.2f} KB')
# 再与TFLite的len(tflite_model)/1024对比

2. 磁盘占用对比 #

直接对比两者完整持久化后的文件大小：

# 保存Keras完整模型
model.save('keras_model.h5')
# 保存TFLite模型
with open('tflite_model.tflite', 'wb') as f:
    f.write(tflite_model)

之后查看两个文件的磁盘占用，这是最能反映部署时存储需求的公平对比方式。

内容的提问来源于stack exchange，提问作者Della