TensorBoard Profiler无法加载libcupti.so.11.2 软链接后报ELF头错误求解

1. 初始libcupti.so.11.2 not found报错原因 #

• 只有当你将profile_batch设为非0值、启用TensorBoard Profiler功能时，才会触发CUDA性能分析工具库CUPTI的加载逻辑，关闭Profiler后无需加载该库，报错自然消失。
• 初始报错是因为CUPTI默认位于CUDA安装路径的extras/CUPTI/lib64目录下，该路径默认不在系统的动态库搜索路径列表中，系统无法找到对应库文件。
• 当时训练和Profiler仍能正常运行，是因为TensorFlow内置了降级兼容逻辑：找不到对应版本CUPTI时，会跳过部分GPU细粒度性能指标的采集，不会直接中断程序运行。

2. 软链接后invalid ELF header报错原因 #

该报错本质是系统加载的库文件格式不匹配，常见诱因有两种：

• 你软链接的目标路径有误：多数64位Linux系统的默认动态库搜索路径为/usr/lib64或/usr/lib/x86_64-linux-gnu，你将64位的CUPTI库链接到32位程序使用的/usr/lib目录下，系统架构不匹配导致无法识别库文件头。
• 源库文件本身损坏：你本地的CUDA 11.2安装包不完整，CUPTI目录下的库文件存在损坏问题。

1. 先删除你之前创建的错误软链接，避免污染系统路径：

sudo rm /usr/lib/libcupti.so.11.2

2. 不建议直接修改系统目录，正确做法是将CUPTI路径加入动态库搜索环境变量：
   • 临时生效：运行训练脚本前执行命令：

   export LD_LIBRARY_PATH=/usr/local/cuda-11.2/extras/CUPTI/lib64:$LD_LIBRARY_PATH
   

   • 永久生效：将上述命令写入~/.bashrc（或你所用shell的对应配置文件），执行source ~/.bashrc后即可全局生效。
3. 如果配置路径后仍报ELF头错误，重新安装完整的CUDA 11.2 Toolkit，安装时确保勾选CUPTI组件即可。

内容的提问来源于stack exchange，提问作者Xiaogang Zhu