如何减小Keras LSTM模型体积以部署至Web服务器？

你的模型体积大头就是那1500万未训练的词嵌入——这些参数对应的都是从未在训练数据中出现过的词，对推理任务毫无贡献，完全可以安全剔除，而且操作起来并不复杂。下面给你一步步讲怎么做：

1. 先梳理实际用到的词表 #

首先你得明确哪些词是训练过程中真正被使用过的：

• 如果你用了Keras的Tokenizer来处理文本，直接看它的word_index属性，这里面的所有词就是训练时出现过的词汇（也就是有有效嵌入参数的词）。
• 那些不在word_index里的词，对应的嵌入参数就是未训练的冗余项，直接删掉就行。

2. 替换嵌入层并重新保存模型 #

接下来要把原模型里的嵌入层替换成只保留有效参数的新嵌入层，代码示例如下：

import tensorflow as tf
from tensorflow.keras.layers import Embedding

# 假设你已经加载了原模型和训练时用的Tokenizer
original_model = tf.keras.models.load_model('your_original_model.h5')
tokenizer = ...  # 你训练时保存的Tokenizer实例

# 获取原嵌入层和它的权重
original_embedding = original_model.get_layer('embedding')  # 替换成你嵌入层的实际名称
embedding_weights = original_embedding.get_weights()[0]

# 构建新的权重矩阵：只保留padding（索引0）和已使用词对应的权重
used_word_indices = [0] + list(tokenizer.word_index.values())
new_embedding_weights = embedding_weights[used_word_indices]

# 创建新的嵌入层
new_embedding = Embedding(
    input_dim=len(used_word_indices),
    output_dim=original_embedding.output_dim,
    weights=[new_embedding_weights],
    trainable=original_embedding.trainable  # 保持原训练状态，不需要可以设为False
)

# 替换原模型中的嵌入层（假设模型输入后第一个层就是嵌入层）
# 如果你的模型结构更复杂，可能需要重新搭建模型结构并加载权重
input_layer = tf.keras.Input(shape=(original_model.input_shape[1],))
x = new_embedding(input_layer)
# 把原模型中嵌入层之后的部分接过来
for layer in original_model.layers[1:]:
    x = layer(x)
new_model = tf.keras.Model(inputs=input_layer, outputs=x)

# 保存新模型
new_model.save('optimized_model.h5')

3. 部署时的配套调整 #

• 一定要同步更新你的Tokenizer：只保留word_index里的词，或者在推理时把未见过的词映射到OOV（比如用oov_token参数提前设置），避免出现索引超出新嵌入层输入维度的错误。
• 如果你的任务不需要再微调模型，建议把新嵌入层设为trainable=False，这样不仅能减小一点体积，还能加快推理速度。

额外的体积优化建议 #

除了移除冗余嵌入，你还可以试试这些方法进一步压缩模型：

• 用TensorFlow Lite对模型进行量化（比如动态范围量化或浮点16量化），能在几乎不损失精度的情况下把体积再砍一半。
• 保存模型时用save_format='tf'（SavedModel格式），比HDF5格式更高效，也更适合部署。

这样操作下来，你的模型体积应该能从100MB降到十几甚至几MB，完全满足Web服务器的部署需求。

内容的提问来源于stack exchange，提问作者Anh Pham