如何让HuggingFace Trainer适配Intel GPU进行语言模型微调？

核心问题定位 #

你的设备搭载Intel TigerLake-LP GT2（Iris Xe Graphics），属于Intel集成GPU，CUDA是Nvidia专属工具链，之前安装CUDA完全无效，必须使用Intel针对自家GPU的加速方案。

具体解决方案步骤 #

1. 安装Intel oneAPI工具包 #

Intel oneAPI提供Intel GPU的深度学习加速支持，重点安装以下组件：

• 打开终端，添加Intel软件源：

  wget -O- https://apt.repos.intel.com/intel-gpg-keys/GPG-PUB-KEY-INTEL-SW-PRODUCTS.PUB | gpg --dearmor | sudo tee /usr/share/keyrings/intel-oneapi-archive-keyring.gpg > /dev/null
  echo "deb [signed-by=/usr/share/keyrings/intel-oneapi-archive-keyring.gpg] https://apt.repos.intel.com/oneapi all main" | sudo tee /etc/apt/sources.list.d/intel-oneapi.list
  sudo apt update
  

• 安装基础工具包和深度学习加速组件：

  sudo apt install intel-basekit intel-ai-analyticskit
  

• 激活oneAPI环境（每次终端启动需执行，也可添加到~/.bashrc自动加载）：

  source /opt/intel/oneapi/setvars.sh
  

2. 配置PyTorch/Transformers支持Intel GPU #

HuggingFace Transformers可通过ipex-llm（原Intel Extension for PyTorch）调用Intel GPU加速：

• 安装适配的PyTorch和ipex-llm：

  pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cpu
  pip install ipex-llm
  

• 基于HuggingFace Trainer API修改训练代码：
  在初始化Trainer前，添加Intel GPU适配逻辑：

  import intel_extension_for_pytorch as ipex
  from transformers import TrainingArguments, Trainer
  
  # 初始化模型和训练参数
  training_args = TrainingArguments(
      output_dir="./results",
      per_device_train_batch_size=4,  # 可尝试比1更大的数值，视显存调整
      fp16=True,  # 开启FP16混合精度加速
      device="xpu",
      # 其他训练参数保持不变
  )
  
  trainer = Trainer(
      model=model,
      args=training_args,
      train_dataset=train_dataset,
  )
  
  # 应用ipex优化
  model, trainer.optimizer = ipex.optimize(model, optimizer=trainer.optimizer)
  

3. 验证GPU调用状态 #

运行以下代码确认Intel GPU是否被正确识别：

import torch
print(torch.xpu.is_available())
print(torch.xpu.device_count())
print(torch.xpu.get_device_name(0))

若输出True及对应Iris Xe显卡名称，说明配置生效。

4. 调优训练参数提升速度 #

• 尝试增大per_device_train_batch_size：Intel GPU显存比CPU充裕，可逐步调到4-8
• 启用梯度累积：若显存不足，设置gradient_accumulation_steps=2或更高，等效于扩大batch size
• 优先使用轻量化模型：比如用DistilBERT替代标准BERT，减少计算量

常见问题排查 #

• Jupyter内核崩溃：先在终端中测试代码，确保oneAPI环境激活正常；在Jupyter首个单元格添加!source /opt/intel/oneapi/setvars.sh加载环境
• 速度提升不明显：检查模型和训练数据是否都移至xpu设备，确认混合精度已开启

内容的提问来源于stack exchange，提问作者user23338870