LLM批量推理与单输入推理的输出logits不一致排查请求

针对使用inputs_embeds输入时，Qwen2.5-1.5B-Instruct批量推理和单样本推理输出Logits不一致的问题，可通过以下步骤排查解决：

核心问题排查方向 #

这类差异通常由设备分配、注意力实现方式、位置编码逻辑或浮点数精度优化导致，以下是针对性解决方案：

1. 强制模型全量加载到同一设备 #

device_map="auto"可能将部分层分配到CPU/内存，跨设备推理会引入数值差异。改为指定单一设备加载：

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-1.5B-Instruct",
    torch_dtype=torch.bfloat16,  # 明确指定 dtype，避免自动推断的精度差异
    device_map="cuda:0",  # 或指定"cpu"，确保全量模型在同一设备
    trust_remote_code=True
)

2. 改用原生Eager模式注意力 #

Qwen2.5默认启用Flash Attention，该优化在批量与单样本场景下的数值计算可能存在细微偏差。禁用Flash Attention改用原生实现：

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-1.5B-Instruct",
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",
    trust_remote_code=True,
    attn_implementation="eager"  # 禁用Flash Attention
)

3. 修正Position IDs生成逻辑 #

原代码统一生成固定长度的position_ids，未考虑padding的实际影响。正确生成逻辑应基于attention_mask的有效序列长度：

def generate_position_ids(attention_mask):
    # 为每个样本生成对应有效长度的position_ids，padding位置设为0
    position_ids = torch.cumsum(attention_mask, dim=1) - 1
    position_ids.masked_fill_(attention_mask == 0, 0)
    return position_ids

# 替换原position_ids生成代码
position_ids = generate_position_ids(attention_mask)

4. 关闭自动混合精度推理 #

自动混合精度（AMP）会动态调整计算精度，可能引入批量与单样本的数值差异。推理时显式关闭AMP：

torch.set_float32_matmul_precision('high')  # 固定矩阵乘法精度

with torch.no_grad(), torch.cuda.amp.autocast(enabled=False):
    # 批量推理
    output_batch = model(
        inputs_embeds=inputs_embeds,
        attention_mask=attention_mask,
        position_ids=position_ids
    ).logits[0]
    
    # 单样本推理
    output_single = model(
        inputs_embeds=inputs_embeds[0].unsqueeze(0),
        attention_mask=attention_mask[0].unsqueeze(0),
        position_ids=position_ids[0].unsqueeze(0)
    ).logits[0]

5. 验证差异程度 #

若上述步骤后仍存在差异，先检查差异的具体数值：

max_diff = torch.abs(output_batch - output_single).max().item()
print(f"最大Logits差异值: {max_diff}")

• 若差异在1e-6以下：属于浮点数计算的正常精度误差，可接受；
• 若差异较大：需排查Qwen自定义代码中的特殊处理逻辑（因使用trust_remote_code=True）。

内容的提问来源于stack exchange，提问作者史开源