HPC集群/usr目录非NFS导致计算节点无法访问库的问题咨询

1. 该现象是否正常？ #

这是完全正常的现象。HPC集群节点间的文件共享依赖NFS等分布式存储协议，如果主节点的/usr目录未配置为NFS共享，每个计算节点的/usr都是本地磁盘上的独立目录，和主节点的/usr内容完全不互通。因此在计算节点执行ls /usr/lib/看不到主节点安装的库，完全符合集群配置逻辑。

2. 高效解决依赖库的方案 #

无需手动逐一在计算节点安装库，以下是几种更高效的解决方式：

（1）利用集群共享存储统一部署库 #

多数HPC集群会提供专门的共享存储目录（比如/opt、/apps或/home/public），所有节点均可访问。你可以在主节点将依赖库编译安装到该共享目录：

./configure --prefix=/apps/my_custom_libs  # 指定安装到共享存储路径
make && make install

运行程序前，设置环境变量让系统找到共享库：

export LD_LIBRARY_PATH=/apps/my_custom_libs/lib:$LD_LIBRARY_PATH

（2）用集群管理工具批量安装到本地 #

如果必须在计算节点本地安装库，使用pdsh、Ansible这类集群批量管理工具，一键完成所有节点的安装：

• 用pdsh批量执行安装命令（假设计算节点命名为compute01到compute10）：

  pdsh -w compute[01-10] "sudo yum install -y your-target-library"
  

• 用Ansible则可编写简单的playbook，一次性完成所有节点的库安装配置。

（3）打包库与程序绑定 #

• 静态编译程序：编译时使用静态链接参数，将依赖库直接打包到可执行文件中，计算节点无需单独安装库。例如：

  gcc -static your_program.c -o your_program
  

  注意：部分开源库可能不支持静态链接，且静态编译会增大可执行文件体积。
• 打包动态库到程序目录：将主节点/usr/lib中需要的库复制到程序所在的共享目录（比如程序目录下的lib子文件夹），运行前设置：

  export LD_LIBRARY_PATH=$(pwd)/lib:$LD_LIBRARY_PATH
  ./your_program
  

内容的提问来源于stack exchange，提问作者mancolric