关于在SageMaker GPU上配置libtcmalloc_minimal.so.4的技术求助

你的问题核心是从Colab迁移的预编译libtcmalloc_minimal.so.4与SageMaker实例的系统环境不兼容，导致动态链接器无法加载该库。以下是可行的解决步骤：

1. 安装系统兼容的tcmalloc库 #

不要使用第三方预编译的库文件，直接通过SageMaker实例的包管理器安装官方适配版本：

• 如果你的实例是Amazon Linux 2（SageMaker GPU实例默认系统）：

  sudo yum install -y gperftools-libs
  

• 如果你的实例是Ubuntu：

  sudo apt update && sudo apt install -y libgoogle-perftools4
  

2. 确认库的安装路径 #

安装完成后，执行以下命令获取系统中libtcmalloc_minimal.so.4的实际路径：

ldconfig -p | grep libtcmalloc_minimal

输出示例（Amazon Linux 2）：

libtcmalloc_minimal.so.4 (libc6,x86-64) => /usr/lib64/libtcmalloc_minimal.so.4

3. 设置正确的LD_PRELOAD环境变量 #

在Jupyter Notebook中使用获取到的路径设置环境变量：

%env TF_CPP_MIN_LOG_LEVEL=1
# 替换为实际输出的路径
%env LD_PRELOAD=/usr/lib64/libtcmalloc_minimal.so.4

为什么之前的方法失效？ #

Colab环境使用的glibc版本、系统库依赖与SageMaker实例存在差异，你从Hugging Face下载的预编译库是针对Colab环境编译的，无法在SageMaker的系统中满足依赖要求，因此动态链接器无法加载该库。直接安装系统包管理器提供的版本，能保证库与当前环境的兼容性。

内容的提问来源于stack exchange，提问作者Kael Voker