在NVIDIA Tesla V100加载Phi3 Small 8k遇Flash Attention错误的咨询

1. 能否上传并微调Phi3 8k Small模型？ #

可以。只要你的V100显卡显存满足要求（Phi3 8k Small全参数微调需要约15GB以上显存，若使用LoRA等高效微调方法，显存需求可降低至8-10GB），即可完成模型上传与微调。

2. V100上加载模型的Flash Attention问题及attn_implementation="eager"的适配 #

问题原因 #

Phi3部分任务的模型实现默认依赖Flash Attention 2，但NVIDIA V100属于Volta架构，不支持Flash Attention 2（仅Ampere及以上架构如A100、RTX30/40系列支持），因此即使CUDA版本符合要求，硬件限制仍会导致报错。

针对AutoModelForSequenceClassification的解决方法 #

官方文档中attn_implementation="eager"的说明是针对AutoModelForCausalLM（因果语言模型，用于生成任务）的，直接用在序列分类模型上会出现断言错误。你可以尝试以下两种方法：

• 方法一：先修改配置再加载模型

  from transformers import AutoConfig, AutoModelForSequenceClassification
  
  config = AutoConfig.from_pretrained("path", num_labels=num_labels)
  config.attn_implementation = "eager"
  model = AutoModelForSequenceClassification.from_pretrained("path", config=config)
  

• 方法二：强制禁用Flash Attention并指定eager模式

  model = AutoModelForSequenceClassification.from_pretrained(
      "path", 
      num_labels=num_labels, 
      attn_implementation="eager",
      use_flash_attention_2=False
  )
  

以上两种方法均可绕过Flash Attention的依赖，适配V100显卡的硬件限制。

3. ONNX版本的使用说明 #

• ONNX版本的Phi3主要用于推理场景，能优化推理延迟与显存占用，但官方提供的ONNX权重通常不支持微调——因为微调需要完整的反向传播流程，ONNX的训练生态远不如PyTorch原生完善。
• 若仅需进行推理，V100上可以使用ONNX Runtime运行Phi3的ONNX版本，能获得稳定的推理性能。

内容的提问来源于stack exchange，提问作者Roman Frič