微调TF KerasLayer加载的Universal Sentence Encoder模型体积增大问题

• 优化器状态默认持久化：你使用的Adam优化器会为每一个可训练参数维护两个和参数维度完全一致的滑动平均变量：一阶动量（梯度的指数移动平均）、二阶动量（梯度平方的指数移动平均）。Universal Sentence Encoder v4原生权重体积约1GB，训练后生成的两个动量变量各占1GB存储，三者相加总权重体积刚好为3GB，完全匹配你观测到的涨幅。你直接加载不训练就保存的场景下，没有触发优化器状态的初始化和更新，保存文件仅包含原生模型权重，因此体积和原模型一致。
• 你之前猜测的量化策略并非该现象的诱因，这是TensorFlow SavedModel格式的默认设计：只要模型经过编译、完成了至少一步训练，保存时会默认将优化器状态一起序列化存储，方便后续断点续训。

• 如果你保存模型仅用于推理，不需要后续继续微调，保存时添加include_optimizer=False参数即可：

model.save("/media/petrlorenc/Data/universal-sentence-encoder_fine/", include_optimizer=False)

该配置下仅会保存推理必需的权重，模型体积会回到1GB左右，完全不影响推理效果。

• 如果你需要保留训练状态用于后续继续微调，3GB的体积属于必要的存储开销，是正常情况。

内容的提问来源于stack exchange，提问作者United121