设置torch_dtype=torch.float16是否覆盖BitsAndBytes的8-bit量化？配置差异解析

下面针对两种加载Qwen2.5-Coder-3B的配置，从三个核心维度解析差异：

两种配置代码 #

带torch_dtype=torch.float16的配置 #

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(load_in_8bit=True)

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-Coder-3B")

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-Coder-3B",
    quantization_config=bnb_config,
    torch_dtype=torch.float16,
    device_map="auto"
)

不指定torch_dtype的配置 #

from transformers import AutoModelForCausalLM, BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(load_in_8bit=True)

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-Coder-3B",
    quantization_config=bnb_config,
    device_map="auto"
)

1. 模型权重的存储与加载方式 #

两种配置下，模型权重均以8-bit整数（INT8）的形式存储和加载。
BitsAndBytes的load_in_8bit=True参数优先级高于torch_dtype，会强制将预训练模型的FP16/BF16权重量化为INT8格式存储在内存/GPU显存中。torch_dtype参数不会改变权重的量化状态，仅影响非权重张量（如激活值、层归一化参数）的默认类型。

未指定torch_dtype时，Hugging Face Transformers会自动读取模型预训练时的原生dtype（Qwen2.5-Coder-3B预训练采用的是BF16），但这仅作用于非权重部分，权重仍保持INT8量化状态。

2. 推理过程中激活值和输出的数据类型 #

• 带torch_dtype=torch.float16的配置：推理时所有激活值、中间计算张量、模型最终输出都会以FP16格式处理。INT8权重会被临时反量化为FP16参与运算，运算完成后权重仍保持INT8存储。
• 不指定torch_dtype的配置：推理时会使用模型预训练的原生dtype（BF16）处理激活值和输出，INT8权重会被反量化为BF16参与运算。

3. torch_dtype=torch.float16是否会覆盖或干扰8-bit量化 #

完全不会干扰，二者可以安全共存。
torch_dtype的作用范围是模型计算流程中的非权重张量（激活值、中间结果、输出），而BitsAndBytes的8-bit量化仅针对模型权重的存储格式。设置torch_dtype=torch.float16反而能在支持Tensor Core的NVIDIA GPU上提升推理速度，同时不会改变权重的INT8量化状态，也不会增加显存占用（因为权重还是INT8）。

内容的提问来源于stack exchange，提问作者SHresTho12