求问：是否有ONNX或TensorFlow格式的4-bit量化CNN模型可用？

TensorFlow/Keras 可用资源 #

• TensorFlow官方Model Garden和TensorFlow Hub提供了预优化的4-bit量化CNN模型，比如MobileNet、EfficientNet这类轻量型图像分类模型。这些模型是官方经过校准量化的，精度损失远低于自行随意量化的结果，你可以通过tf.keras.applications接口加载基础模型后，使用官方量化工具转换，或者直接下载Hub上的预量化版本。
• TensorFlow Lite Model Zoo里也有大量4-bit量化的CNN模型，覆盖分类、目标检测等常见任务，直接下载对应的.tflite文件就能用，精度表现都经过验证。

ONNX 可用资源 #

• ONNX Model Zoo中包含ResNet、MobileNetV2等经典CNN的4-bit量化版本，这些模型是通过ONNX Runtime官方量化工具优化的，精度稳定。直接下载对应的.onnx文件，用ONNX Runtime加载即可推理。
• Hugging Face Hub上也有社区贡献的4-bit量化CNN模型，但选择时优先看标注了官方验证精度的版本，避免精度不达标的情况。

关于自行量化精度下降的补救 #

如果不想用现成模型，想自己优化量化效果，可以试试官方校准工具：

• TensorFlow侧，用tf.lite.RepresentativeDataset准备代表性数据集做校准，再执行4-bit量化，能大幅降低精度损失；
• ONNX侧，使用ONNX Runtime的quantization.quantize_dynamic配合校准数据集，优化量化后的模型精度。

内容的提问来源于stack exchange，提问作者Lane