安装NVIDIA Apex时遇cuda_profiler_api.h缺失错误的求助

问题重现 #

执行以下命令安装NVIDIA Apex：

git clone https://github.com/NVIDIA/apex
cd apex
pip3 install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" --global-option="--deprecated_fused_adam" --global-option="--xentropy" --global-option="--fast_multihead_attn" ./
cd ..

安装过程中出现编译错误，核心提示：

csrc/megatron/scaled_upper_triang_masked_softmax_cuda.cu:21:10: fatal error: cuda_profiler_api.h: No such file or directory

环境信息 #

• nvcc版本：

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2022 NVIDIA Corporation
Built on Wed_Jun__8_16:49:14_PDT_2022
Cuda compilation tools, release 11.7, V11.7.99
Build cuda_11.7.r11.7/compiler.31442593_0

• GPU驱动信息：

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.60.11    Driver Version: 525.60.11    CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+ 
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ...  Off  | 00000000:03:00.0 Off |                  N/A |
|  0%   46C    P0    37W / 180W |      0MiB /  8192MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

• 系统无/usr/local/cuda-11.7路径，nvcc位于conda环境/3tb/share/anaconda3/envs/ak_env/bin中。

解决方案 #

方案1：补全conda环境的CUDA头文件 #

你的nvcc来自conda环境，但可能缺少完整的CUDA Toolkit头文件，执行以下命令安装对应版本的CUDA Toolkit：

conda activate ak_env
conda install -c nvidia cuda-toolkit=11.7

安装完成后，重新执行Apex的安装命令。

方案2：手动指定CUDA头文件和库路径 #

如果方案1无法解决，手动设置环境变量让编译器找到CUDA头文件：

conda activate ak_env
# 设置头文件路径
export C_INCLUDE_PATH="$CONDA_PREFIX/include:$C_INCLUDE_PATH"
export CPLUS_INCLUDE_PATH="$CONDA_PREFIX/include:$CPLUS_INCLUDE_PATH"
# 设置库文件路径
export LD_LIBRARY_PATH="$CONDA_PREFIX/lib:$LD_LIBRARY_PATH"

设置完成后，重新运行Apex安装命令。

方案3：切换到兼容的Apex版本 #

部分新版本Apex可能对旧CUDA版本支持不佳，切换到与CUDA11.7兼容的Apex版本：

cd apex
git checkout 23.05  # 该版本兼容CUDA11.x
pip3 install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" --global-option="--deprecated_fused_adam" --global-option="--xentropy" --global-option="--fast_multihead_attn" ./

额外提示 #

• 安装前确保已激活目标conda环境
• 如果遇到ninja缺失的警告，可安装ninja加速编译：conda install ninja

内容的提问来源于stack exchange，提问作者AKMalkadi