如何将含grid_sample算子的PyTorch模型转换为INT8量化的TensorRT模型

问题1：对带索引类输入的算子（如grid_sample）执行INT8量化是否合理？对取值范围[0..640)的输入做INT8量化是否会导致输出大幅偏差？ #

grid_sample的采样网格属于坐标类连续输入，不适合做INT8量化，这种操作本身是不合理的。
INT8量化是将浮点数值范围映射到仅256个离散整数值，你的坐标范围达到640时，单步量化误差约为640/255≈2.5像素。坐标误差对采样结果的影响远大于普通特征图的量化误差，仅像素级偏差就会导致采样值出现明显变化，2.5像素的误差完全可能带来输出结果的大幅偏移。而如果是输入的图像/特征信号做量化，通常不会有这么严重的影响，误差的核心来源是网格的量化。

问题2：自定义插件仅实现FP32和FP16逻辑时，INT8量化如何适配运行？ #

TensorRT遇到不支持INT8精度的算子（包括你使用的自定义GridSamplePlugin）时，会自动在该算子的输入前插入反量化节点，输出后插入量化节点：也就是说插件本身还是以FP32/FP16精度运行，仅插件前后的其他网络层跑INT8。
你遇到的MSE飙升问题，本质不是插件运行出错，而是输入给插件的采样网格是前面网络层INT8量化后输出的结果，反量化回FP32时已经携带了无法消除的量化误差，插件再用有误差的坐标采样，自然结果偏差很大。

问题3：测试网络开启和关闭INT8量化输出结果一致，是否是因为grid_sample的输入就是整个网络的输入？ #

是的。
TensorRT默认不会对网络的输入节点做INT8量化，你测试时输入图像和采样网格都是直接作为网络输入传入，输入给grid_sample的两个参数都是原始FP32精度，插件直接运行FP32逻辑，自然和关闭量化的输出完全一致。而你的完整业务模型中，采样网格是前面网络层计算输出的结果，前面的层被自动量化为INT8精度，输出的网格值已经带了量化误差，才会导致最终结果偏差大。

修复建议 #

你可以通过ONNX GraphSurgeon标记网格输出的相关层，强制其保留FP32精度，或者在TensorRT构建引擎时，给网格输出层添加精度约束，禁止其做INT8量化，即可大幅降低量化带来的误差。

内容的提问来源于stack exchange，提问作者Sergiy Snake