PyTorch Eager模式量化跳过指定层报slow_conv2d错误解决方法

你的判断完全正确。PyTorch Eager模式量化是模块级配置、张量级流转的逻辑：给层设置qconfig=None仅代表不对该层的权重、激活插入观测器，也不会转换该层本身的计算精度，但框架不会自动在该层前后插入张量类型转换节点。当前置量化层输出Int8类型的量化张量后，直接送入保持FP32精度的跳过量化层，而Conv等常规FP32算子不支持QuantizedCPU后端的张量输入，就会触发你遇到的报错。

优先选第一种方案，改动量最小，完全兼容你现有的校准、转换流程：

方案1：用DeQuantStub/QuantStub包裹跳过量化的层 #

这是PyTorch Eager量化原生支持的张量类型转换方式，不需要手动计算反量化/量化的scale、zero_point参数，转换阶段会自动根据校准结果插入正确的转换逻辑。

操作步骤： #

1. 先定义一个通用的跳层包装模块，承接反量化、FP32计算、重新量化的全流程：

import torch
import torch.nn as nn
from torch.quantization import DeQuantStub, QuantStub

class SkipQuantWrapper(nn.Module):
    def __init__(self, fp32_layer):
        super().__init__()
        self.fp32_layer = fp32_layer
        self.dequant = DeQuantStub()
        self.quant = QuantStub()
        # 包装模块本身不参与量化
        self.qconfig = None

    def forward(self, x):
        # 进入FP32层前反量化到浮点
        x = self.dequant(x)
        x = self.fp32_layer(x)
        # FP32层计算完成后重新量化，对接后续量化层
        x = self.quant(x)
        return x

2. 修改你原有的qconfig配置逻辑，遇到需要跳过的层时，不要直接设置qconfig=None，而是用上述包装类替换原层即可。针对MobileNetV3的features是Sequential结构的特点，直接按下标遍历替换就行：

# 给全局设置默认qconfig
fused_model.qconfig = torch.quantization.get_default_qconfig("qnnpack")

# 遍历features层替换需要跳过的模块
for idx, layer in enumerate(fused_model.features):
    layer_name = f"features.{idx}"
    if layer_name in sortedSensitivityDict:
        if sortedSensitivityDict[layer_name] <= 0.94:
            # 敏感度低于阈值的层用包装类替换，保持FP32计算
            fused_model.features[idx] = SkipQuantWrapper(layer)

3. 你原来的模型准备、校准、转换代码不需要做任何修改，直接运行即可。torch.quantization.prepare阶段会自动给包装类里的QuantStub/DeQuantStub插入观测器，校准完成后convert阶段会自动把stub转换成匹配对应量化参数的转换算子，不会再出现张量类型不匹配的问题。

方案2：手动拆分模块插入转换节点（适合跳层位置固定的场景） #

如果你不想新增包装类，也可以手动拆分self.features结构，在跳层的前后插入转换节点。比如你要跳过features里的第4、第6个倒残差块，就把features拆成三段：0-3块为前置量化段、4和6块为FP32跳段、7到最后块为后置量化段，在前向逻辑里手动衔接量化状态：

# 初始化模型时需要额外定义中间的转换stub
self.quant_inter = QuantStub()

def _forward_impl(self, x: Tensor) -> Tensor:
    x = self.quant(x)
    x = self.features_pre(x)
    x = self.dequant(x) # 进FP32段前反量化
    x = self.features_skip(x)
    x = self.quant_inter(x) # 出FP32段后重新量化
    x = self.features_post(x)
    x = self.avgpool(x)
    x = torch.flatten(x, 1)
    x = self.dequant(x)
    x = self.classifier(x)
    return x

这个方案需要手动拆分Sequential结构，跳层数量多的时候改动量很大，灵活性不如方案1。

不要直接在跳层的forward里硬编码x = x.dequantize()这类逻辑，校准阶段你无法提前获知量化张量的scale、zero_point参数，硬编码转换不仅会在convert阶段和量化逻辑冲突，还会带来额外的精度损失，用官方提供的Stub类是最稳妥的实现方式。

内容的提问来源于stack exchange，提问作者TestCandidate