如何在CUDA GPU上运行PyTorch INT8量化模型及相关问题咨询

你遇到的报错属于原生PyTorch的功能限制：官方内置的quantized系列算子目前仅支持CPU后端，没有实现CUDA侧的INT8量化算子。你选用的qnnpack量化后端本身就是面向x86/ARM CPU设计的，因此转换得到的量化模型只能在CPU上正常运行，迁移到CUDA就会触发算子不存在的报错。

另外你之前理解的"CUDA上仅能做FakeQuant伪量化训练、模型只能部署到CPU"是原生PyTorch的默认情况，但你可以通过其他部署工具实现在CUDA上运行真实INT8量化模型，拿到效率提升。

PyTorch生态适配方案 #

• 使用Torch-TensorRT：这是PyTorch官方联合NVIDIA推出的推理优化工具，直接兼容原生PyTorch接口，无需导出模型到其他框架。你可以跳过原生PyTorch的quantize_fx转换流程，直接给FP32模型配置INT8量化参数，做完校准后生成的优化模型会自动调用CUDA的INT8指令运行，你的模型包含的Conv2d、LeakyReLU、MaxPool等常规算子都可以被完美支持。
• 导出ONNX后用TensorRT部署：将训练好的FP32模型导出为ONNX格式，再用NVIDIA官方的TensorRT推理引擎做INT8量化校准，生成的INT8引擎可以直接在CUDA上运行，是当前CUDA侧INT8推理性能最优的方案。
• 量化感知训练后对接部署后端：如果你需要做量化感知训练降低精度损失，可以继续用原生PyTorch的FakeQuant流程在CUDA上训练，训练完成后不要用convert_fx做转换，直接导出模型对接上述TensorRT类部署工具即可。

其他框架方案 #

如果愿意切换框架可以选用TensorFlow的TF-TRT能力：TensorFlow原生集成了TensorRT优化接口，你可以将模型迁移到TensorFlow后，直接通过TF-TRT的INT8量化流程完成校准，生成的优化模型可以直接在CUDA上调用INT8指令运行，无需额外的模型转换操作。

内容的提问来源于stack exchange，提问作者Adam