如何验证经Intel LPOT（Neural Compressor）量化的PyTorch文本分类模型已完成权重量化

你遇到的情况很常见——LPOT（Intel Neural Compressor）的量化模型在PyTorch中，直接遍历parameters()看到的权重 dtype 可能还是FP32，但这并不代表量化没生效。这是因为PyTorch的量化实现（尤其是动态量化或LPOT的优化方案）中，量化权重的存储和计算方式和原生FP32模型不同。下面是几种可靠的验证方法：

1. 检查模型中的量化模块类型 #

LPOT量化后，会把模型中的普通层（比如torch.nn.Linear）替换为支持INT8量化的专用层。你可以遍历模型的子模块，查看是否存在量化相关的层：

for name, module in modellpot.named_modules():
    print(f"{name}: {type(module).__name__}")

如果输出中出现QuantizedLinear、Int8Linear（LPOT自定义层）这类名称，说明模型已经被成功量化。比如文本分类模型的分类头、Transformer的Feed Forward层都会被替换成量化版本。

2. 查看推理时的张量 dtype #

量化模型的核心优化是推理时用INT8进行计算，即使权重看起来是FP32，输入和中间张量在推理过程中会被量化为INT8。你可以通过实际跑推理并打印张量类型来验证：

import torch
from transformers import AutoTokenizer

# 加载tokenizer
tokenizer = AutoTokenizer.from_pretrained('fp32/model/path')
# 构造测试输入
inputs = tokenizer("Sample input text for testing", return_tensors="pt")

# 注册钩子查看中间层张量类型
def track_tensor_dtype(module, input, output):
    print(f"Module {type(module).__name__}")
    print(f"  Input dtype: {input[0].dtype}")
    print(f"  Output dtype: {output.dtype}")

# 给所有量化层注册钩子
for module in modellpot.modules():
    if isinstance(module, (torch.nn.quantized.Linear,)):
        module.register_forward_hook(track_tensor_dtype)

# 执行推理
with torch.no_grad():
    outputs = modellpot(**inputs)
    print(f"Final logits dtype: {outputs.logits.dtype}")

如果看到中间层的输入/输出是torch.qint8（INT8量化张量），说明量化推理正在正常进行。最终输出的logits通常会反量化回FP32，所以输出 dtype 还是float32是正常的。

3. 查看量化层的专用属性 #

PyTorch的量化层会存储量化所需的关键参数（scale和zero_point），以及实际的量化权重。你可以直接查看这些属性：

for name, module in modellpot.named_modules():
    if isinstance(module, torch.nn.quantized.Linear):
        print(f"\nLayer: {name}")
        print(f"  Quantized weight dtype: {module.weight().dtype}")
        print(f"  Quantization scale: {module.scale}")
        print(f"  Quantization zero point: {module.zero_point}")

这里module.weight()返回的是实际参与计算的INT8权重（torch.qint8类型），而scale和zero_point是量化时的校准参数——这些都是量化生效的核心标志。

4. 使用LPOT自带工具验证 #

LPOT提供了内置的工具来检查量化模型的状态，你可以用以下代码获取量化统计信息：

from lpot.experimental import Quantization

# 加载你的量化配置文件（如果保存了的话）
quantizer = Quantization("path/to/your/quantization_config.yaml")
# 获取量化模型的统计数据
quant_stats = quantizer.get_quantization_stats(modellpot)
print("Quantization Statistics:\n", quant_stats)

这个统计信息会告诉你哪些层被量化、量化的精度损失情况等，直观验证量化是否成功应用。

为什么遍历parameters()看到的是FP32？ #

这是因为LPOT在PyTorch上的部分量化方案（比如动态量化）中，权重会以FP32形式存储，但在推理前会被实时量化为INT8；而量化感知训练（QAT）后的模型，可能保留FP32的权重用于微调，最终导出的量化模型才会固化INT8权重。所以直接查看parameters()的dtype无法准确反映量化状态，必须通过上面的方法验证。

内容的提问来源于stack exchange，提问作者ArunJose