8张Nvidia A100单节点加载70B LLM仅用单GPU致CUDA OOM，如何多卡加载？

以下是针对单节点8张A100 GPU加载Meta-Llama-3-70B-Instruct模型的具体解决步骤：

• 确保依赖版本兼容
  Haystack 1.x对多GPU设备映射的支持不完善，必须升级到Haystack 2.x，同时更新transformers、accelerate和量化依赖到最新稳定版：

  pip install --upgrade haystack-ai transformers accelerate bitsandbytes
  

  bitsandbytes是4/8bit量化的必需依赖，A100原生支持该库的硬件优化。

• 正确配置HuggingFaceLocalGenerator参数
  仅设置device_map="auto"不足以触发多GPU分配，需结合量化参数和模型信任配置，示例代码如下：

  from haystack.components.generators import HuggingFaceLocalGenerator
  
  # 初始化生成器，启用4bit量化+自动设备映射
  generator = HuggingFaceLocalGenerator(
      model_name_or_path="meta-llama/Meta-Llama-3-70B-Instruct",
      device_map="auto",
      load_in_4bit=True,
      bnb_4bit_use_double_quant=True,  # 开启双重量化进一步节省内存
      bnb_4bit_quant_type="nf4",       # 针对LLM优化的量化类型
      trust_remote_code=True,
      max_new_tokens=512
  )
  # 预加载模型到GPU
  generator.warm_up()
  
  # 验证设备映射情况
  print("模型设备分布：", generator.model.hf_device_map)
  

  运行后打印的hf_device_map应显示模型各层分散在cuda:0到cuda:7上。

• 排查环境变量限制
  检查是否存在CUDA_VISIBLE_DEVICES环境变量仅绑定了单张GPU，若有则修改为包含所有8张卡：

  import os
  os.environ["CUDA_VISIBLE_DEVICES"] = "0,1,2,3,4,5,6,7"
  

  该代码需放在初始化生成器之前执行。

• 手动配置Accelerate分布式环境（可选）
  若自动设备映射仍不生效，可通过Accelerate手动配置多GPU环境：

  1. 终端运行accelerate config，按照提示选择：
     • 分布式类型：Multi-GPU
     • 节点数：1
     • GPU数量：8
     • 其他选项保持默认
  2. 在代码开头加载配置：

     from accelerate import Accelerator
     accelerator = Accelerator()
     

  此步骤会强制框架采用分布式策略加载模型。

内容的提问来源于stack exchange，提问作者ArieAI