4张L4 GPU运行Gemma 2B扩展模型时出现CUDA符号未找到错误求助

针对代码在2张T4 GPU正常运行，但4张L4 GPU上触发NCCL的"CUDA failure 'named symbol not found'"错误，可按以下步骤排查修复：

• 检查NCCL与CUDA版本兼容性
  L4的CUDA驱动版本通常高于T4，需确保NCCL版本与当前CUDA环境匹配（例如L4推荐CUDA 11.8+搭配NCCL 2.18+）。可通过以下命令验证版本：

  import torch
  print(torch.cuda.nccl_version())
  

  若版本不匹配，卸载现有NCCL后重新安装对应版本。

• 禁用NCCL冲突通信插件
  设置环境变量关闭可能引发兼容性问题的OFI或InfiniBand插件：

  import os
  os.environ["NCCL_DISABLE_OFI"] = "1"
  os.environ["NCCL_IB_DISABLE"] = "1"
  os.environ["NCCL_DEBUG"] = "INFO"  # 开启日志定位具体错误符号
  

  加入上述代码到Notebook开头，再启动notebook_launcher。

• 替换Notebook内多进程启动方式
  Jupyter的进程隔离机制可能干扰NCCL初始化，建议直接在终端用torchrun启动脚本：

  torchrun --nproc_per_node=4 your_script.py --your_args_here
  

  若必须在Notebook内运行，确保所有环境变量在notebook_launcher调用前设置完成。

• 更新PyTorch与Transformers依赖
  确保PyTorch是适配L4的CUDA版本（如CUDA 11.8/12.1对应的PyTorch包），Transformers版本≥4.38.0（Gemma模型的最低兼容版本）。执行以下命令更新：

  pip install --upgrade torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
  pip install --upgrade transformers accelerate
  

• 验证GPU设备可见性
  在Notebook中执行print(torch.cuda.device_count())，确认能识别到4张L4 GPU。若设备数量不足，检查GPU驱动是否正常、是否有其他进程占用GPU。

内容的提问来源于stack exchange，提问作者Rakesh Jarupula