CUDA GPU机器上安装fused_kernels库的依赖问题求解

问题根源 #

requirements.txt第28行的fused-kernels路径是作者本地私有路径，并非通用路径，导致pip找不到对应目录；同时如果你的GPT-Neox仓库未拉全子模块，megatron/fused_kernels目录本身就不存在，即便手动执行setup.py也会因路径不匹配陷入循环报错。

分步解决 #

• 拉取完整子模块
  先确保GPT-Neox的所有子模块都已克隆：

  git submodule update --init --recursive
  

  这一步会自动拉取megatron目录下的所有依赖内容，包括fused_kernels。

• 修正requirements.txt路径
  打开requirements.txt，找到第28行，把原来的本地路径改为当前仓库的相对路径：

  fused-kernels @ file://./megatron/fused_kernels
  

  或者直接注释掉这一行（因为你已经手动安装过，pip不会再重复要求安装）。

• 重新执行安装
  先确保fused_kernels安装成功：

  cd megatron/fused_kernels
  python setup.py install
  # 或者用pip本地安装更稳妥
  pip install .
  

  回到仓库根目录，重新安装依赖：

  pip install -r requirements.txt
  

替代方案 #

如果上述步骤仍有问题，可以直接跳过requirements.txt中的fused-kernels条目，手动安装后继续其他依赖的安装：

# 先安装fused_kernels
pip install ./megatron/fused_kernels
# 再安装剩余依赖，排除fused-kernels
pip install -r requirements.txt --exclude fused-kernels

内容的提问来源于stack exchange，提问作者Andrew Arrow