如何将Keras模型权重转为float16/int以减小模型体积？

嘿，我懂你想给Keras模型“瘦身”的需求——通过转换权重数据类型来压缩体积确实是个高效的路子，我来帮你把这个思路落地得更顺畅，顺便避避那些容易踩的坑！

如果你想手动遍历层处理权重，代码可以补全成这样，确保覆盖所有有权重的层：

import tensorflow as tf
from tensorflow import keras

# 加载你的预训练模型
model = keras.models.load_model('your_pretrained_model.h5')

# 遍历所有层转换权重为float16
for layer in model.layers:
    if not layer.get_weights():
        continue  # 跳过无权重的层，比如Input、Dropout这类
    old_weights = layer.get_weights()
    # 把每个权重张量转成float16
    new_weights = [weight.astype('float16') for weight in old_weights]
    layer.set_weights(new_weights)

# 保存压缩后的模型
model.save('model_compressed_float16.h5')

不过更推荐用Keras内置的混合精度工具，它不仅能转权重，还能自动处理推理时的精度兼容问题，避免手动转换可能出现的数值不稳定：

# 先设置全局混合精度策略
tf.keras.mixed_precision.set_global_policy('mixed_float16')

# 加载模型时自动应用精度转换
model = keras.models.load_model('your_pretrained_model.h5')
model.save('model_mixed_float16.h5')

小提醒：像BatchNormalization这类层的gamma/beta权重，建议保留float32来避免数值抖动，手动转换时可以加个判断跳过这类层。

整数量化能把模型体积压到原来的1/4，但会带来一定精度损失，得根据你的场景选择合适的方式：

1. 后训练量化：快速上手，无需重训 #

适合不想折腾训练的情况，直接对预训练模型做量化：

# 初始化TFLite转换器
converter = tf.lite.TFLiteConverter.from_keras_model(model)
# 开启默认优化，包含权重量化
converter.optimizations = [tf.lite.Optimize.DEFAULT]
# 指定权重量化为int8类型
converter.target_spec.supported_types = [tf.int8]

# （可选）如果要提升精度，可以提供少量校准数据集，让模型学习量化范围
# def representative_data_gen():
#     for input_value in tf.data.Dataset.from_tensor_slices(train_data).batch(1).take(100):
#         yield [input_value]
# converter.representative_dataset = representative_data_gen

# 转换为量化后的TFLite模型
tflite_int8_model = converter.convert()

# 保存模型
with open('model_int8.tflite', 'wb') as f:
    f.write(tflite_int8_model)

如果非要保持Keras原生格式，手动转int8权重的意义不大——因为整数权重需要配合量化激活逻辑才能正常推理，TFLite会自动处理这些细节，更省心。

2. 量化感知训练：精度损失更小 #

如果担心后训练量化的精度下降太多，可以用这种方式：在训练过程中模拟量化，让模型提前适应低精度，最后再导出量化模型，精度损失会小很多：

import tensorflow_model_optimization as tfmot

# 用量化感知训练包装你的模型
quantize_model = tfmot.quantization.keras.quantize_model
q_aware_model = quantize_model(model)

# 编译模型，保持和原模型一致的优化器、损失函数
q_aware_model.compile(optimizer='adam',
                      loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),
                      metrics=['accuracy'])

# 用少量数据微调就行，不需要从头训练
q_aware_model.fit(train_data, train_labels, epochs=1, validation_data=(val_data, val_labels))

# 转换为int8量化的TFLite模型
converter = tf.lite.TFLiteConverter.from_keras_model(q_aware_model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_qaware_model = converter.convert()

with open('model_qaware_int8.tflite', 'wb') as f:
    f.write(tflite_qaware_model)

• 精度验证：不管用哪种方式，转换后一定要用测试集跑一遍，看看精度有没有下降到不可接受的程度，如果有，就调整策略（比如换混合精度、加校准数据集）。
• 层兼容性：LSTM、GRU这类循环层对量化比较敏感，可能需要保留float32；而卷积层、全连接层对量化的容忍度很高，放心转就行。
• 部署场景：如果是部署到移动端/边缘设备，TFLite量化模型是最优选择；如果还要在Python环境中用，float16混合精度的Keras模型更方便。

内容的提问来源于stack exchange，提问作者Aditya Thakkar