NonDynamicallyQuantizableLinear与Linear区别及MultiheadAttention应用原因

1. 普通Linear层与NonDynamicallyQuantizableLinear的核心差异 #

NonDynamicallyQuantizableLinear是直接继承自torch.nn.Linear的子类，两者的前向计算逻辑、参数存储、初始化规则完全一致，核心差异只有一点：对PyTorch动态量化流程的响应规则不同。

• 普通Linear层默认是动态量化的目标模块，当你调用torch.ao.quantization.quantize_dynamic接口对模型做动态量化时，匹配逻辑会自动识别普通Linear，将其替换为int8精度的DynamicQuantizedLinear，推理时走低精度算子提速。
• NonDynamicallyQuantizableLinear在类定义中显式将_is_dynamically_quantizable类属性设为False，会被动态量化的模块匹配逻辑直接跳过，永远不会被自动替换为动态量化版本，始终保持原有精度计算。

翻源码就能看到，这个类除了加了上述类属性，没有重写任何Linear的固有方法，本质就是个带“请勿自动动态量化”标记的Linear。

2. MultiheadAttention模块选用NonDynamicallyQuantizableLinear的原因 #

MHA内部的q/k/v投影、输出投影层用这个特殊Linear，完全是为了适配量化逻辑，避免错误优化：

• MHA的计算是强耦合的整体：q/k/v投影之后紧跟的是缩放点积注意力计算（QK矩阵乘、softmax、加权求和），这些计算和前后的投影层是可以做算子融合的。如果动态量化流程单独把内部的几个线性层替换成零散的量化版本，会直接打碎MHA的完整计算图，既没法走MHA专用的融合量化算子，还会引入大量低精度/高精度张量转换的额外开销，精度损失也不可控。
• PyTorch为MHA做了单独的量化适配路径：不管是动态量化还是静态量化，官方的优化逻辑都是对整个MHA模块做整体替换，映射到DynamicQuantizedMultiheadAttention这类专用实现，内部的投影计算、注意力计算是联合做量化调优的，性能和精度都比单独量化几个线性层高很多。
• 这个改动本质是填早期版本的坑：最开始MHA内部用的是普通Linear，用户调用动态量化接口时会把内部的投影层单独量化，经常出现量化后推理速度反而变慢、结果精度异常的问题，换成NonDynamicallyQuantizableLinear相当于给内部线性层加了保护，确保动态量化只会作用于整个MHA模块，不会错误修改内部子模块。

内容的提问来源于stack exchange，提问作者core_not_dumped