Armadillo与HDF5在CentOS集群及MacOS上的存储问题求助

1. 验证Armadillo与HDF5的链接一致性 #

• 编译时手动指定conda环境的HDF5头文件和库路径，避免链接到系统自带的旧版本HDF5：

  g++ your_code.cpp -o your_code -I$CONDA_PREFIX/include -L$CONDA_PREFIX/lib -larmadillo -lhdf5 -lhdf5_cpp
  

• 用ldd your_code检查依赖，确认HDF5相关库（如libhdf5.so）的路径指向conda环境，而非系统默认的/usr/lib等目录。

2. 降级HDF5版本解决兼容性问题 #

HDF5 1.14.x与Armadillo部分版本存在兼容性冲突，尝试切换到更稳定的组合：

• 针对Armadillo 12.x：

  conda install hdf5=1.12.2 armadillo=12.6.4
  

• 针对Armadillo 11.x：

  conda install hdf5=1.12.2 armadillo=11.4.4
  

3. 检查临时文件目录的权限与空间 #

• 确认集群默认临时目录（如/tmp）有足够空间且当前用户具备读写权限：

  df -h /tmp
  touch /tmp/test_write && rm /tmp/test_write
  

• 若临时目录存在问题，在代码开头手动指定可写的临时路径：

  arma::arma_set_tmpdir("/path/to/your/custom/tmp");
  

4. 禁用Armadillo的HDF5临时文件中转 #

尝试强制直接写入目标文件，绕过临时文件机制：

• 编译时添加宏定义：

  g++ your_code.cpp -o your_code -DARMA_HDF5_NO_TEMP_FILES -I$CONDA_PREFIX/include -L$CONDA_PREFIX/lib -larmadillo -lhdf5 -lhdf5_cpp
  

5. 用最小代码复现验证问题 #

排除业务代码干扰，用极简代码测试环境：

#include <armadillo>
using namespace arma;

int main() {
  mat A = randu<mat>(10,10);
  A.save("test.h5", arma::hdf5_binary);
  return 0;
}

编译运行后若仍挂起，可确定是环境配置问题而非代码逻辑问题。

6. 禁用HDF5文件锁机制 #

部分集群文件系统（如Lustre）对HDF5文件锁支持不佳，尝试关闭锁功能：

• 运行程序前设置环境变量：

  export HDF5_USE_FILE_LOCKING=FALSE && ./your_code
  

• 或在代码开头添加：

  setenv("HDF5_USE_FILE_LOCKING", "FALSE", 1);
  

内容的提问来源于stack exchange，提问作者Keshav Das Agarwal