Apptainer容器中R调用Julia的库加载错误求助

有一个调用Julia函数的R脚本，本地运行正常，但部署到基于Ubuntu 22.04的Apptainer容器（已安装R、Julia及相关依赖）后，执行R与Julia交互的代码时触发如下错误：

ERROR: LoadError: InitError: could not load library "/home/v_vl/.julia/artifacts/2829a1f6a9ca59e5b9b53f52fa6519da9c9fd7d3/lib/libhdf5.so"
/usr/lib/x86_64-linux-gnu/libcurl.so: version `CURL_4' not found (required by /home/v_vl/.julia/artifacts/2829a1f6a9ca59e5b9b53f52fa6519da9c9fd7d3/lib/libhdf5.so)

经排查，问题源于脚本优先调用了系统lib库，而非Julia artifacts中的对应依赖库。尝试修改Apptainer的.def文件配置LD_LIBRARY_PATH未生效，当前.def配置如下：

Bootstrap: localimage
From: ubuntu_R_ResistanceGA.sif

%post
# Install system dependencies for Julia
apt-get update && \
apt-get install -y wget tar gnupg lsb-release \
software-properties-common libhdf5-dev libnetcdf-dev \
libcurl4-openssl-dev=7.68.0-1ubuntu2.25 \
libgconf-2-4 \
libssl-dev

# Run ldconfig to update the linker cache
  ldconfig
 
 # Set environment variable to include the directory where the artifacts are stored
echo "export LD_LIBRARY_PATH=/home/v_vl/.julia/artifacts/2829a1f6a9ca59e5b9b53f52fa6519da9c9fd7d3/lib:\$LD_LIBRARY_PATH" >> /etc/profile

# Clean up the package cache to reduce container size
apt-get clean

# Install Julia 1.9.3
wget https://julialang-s3.julialang.org/bin/linux/x64/1.9/julia-1.9.3-linux-x86_64.tar.gz
tar -xvzf julia-1.9.3-linux-x86_64.tar.gz
mv julia-1.9.3 /usr/local/julia
ln -s /usr/local/julia/bin/julia /usr/local/bin/julia

# Install Circuitscape
julia -e 'using Pkg; Pkg.add("Circuitscape")'
julia -e 'using Pkg; Pkg.build("NetCDF_jll")'

%environment
export LD_LIBRARY_PATH=/home/v_vl/.julia/artifacts/2829a1f6a9ca59e5b9b53f52fa6519da9c9fd7d3/lib:$LD_LIBRARY_PATH

需要能在ComputeCanada超级计算机上运行的有效解决方案。

1. 动态获取Julia artifacts路径，避免硬编码 #

Julia的artifacts路径是动态生成的，硬编码会导致容器重建或包更新后路径失效。在容器构建阶段添加脚本自动获取依赖库路径：

在.def的%post段末尾添加：

# 生成动态设置Julia库路径的脚本
cat << 'EOF' > /usr/local/bin/setup_julia_libs.sh
#!/bin/bash
# 获取LibCURL和HDF5的jll库路径
CURL_LIB_DIR=$(julia -e 'using LibCURL_jll; println(dirname(LibCURL_jll.libcurl_path))')
HDF5_LIB_DIR=$(julia -e 'using HDF5_jll; println(dirname(HDF5_jll.libhdf5_path))')
# 将Julia库路径放在最前面，确保优先加载
export LD_LIBRARY_PATH="$HDF5_LIB_DIR:$CURL_LIB_DIR:$LD_LIBRARY_PATH"
EOF
chmod +x /usr/local/bin/setup_julia_libs.sh

之后在运行R脚本前，先执行source /usr/local/bin/setup_julia_libs.sh，确保每次启动容器都能获取正确路径。

2. 强制Julia优先加载自身jll库 #

在R调用Julia的代码前，先通过Julia命令动态设置环境变量：

# 获取Julia依赖库路径并设置LD_LIBRARY_PATH
hdf5_lib_dir <- system("julia -e 'using HDF5_jll; println(dirname(HDF5_jll.libhdf5_path))'", intern = TRUE)
curl_lib_dir <- system("julia -e 'using LibCURL_jll; println(dirname(LibCURL_jll.libcurl_path))'", intern = TRUE)
Sys.setenv(LD_LIBRARY_PATH = paste(hdf5_lib_dir, curl_lib_dir, Sys.getenv("LD_LIBRARY_PATH"), sep = ":"))

# 后续调用Julia代码

或者在Julia代码开头直接设置：

# 优先加载Julia自身的依赖库
ENV["LD_LIBRARY_PATH"] = join([dirname(HDF5_jll.libhdf5_path), dirname(LibCURL_jll.libcurl_path)], ":") * ":" * get(ENV, "LD_LIBRARY_PATH", "")
using Circuitscape

3. 容器构建阶段预编译并锁定依赖 #

在.def的%post段中，完成包安装后执行预编译和强制构建操作，确保依赖库正确生成：

# 安装并预编译所有依赖
julia -e 'using Pkg; Pkg.add("Circuitscape"); Pkg.precompile()'
# 强制重新构建HDF5和LibCURL的jll包
julia -e 'using Pkg; Pkg.build(["HDF5_jll", "LibCURL_jll"])'

4. 调整Apptainer环境变量加载顺序 #

修改.def的%environment段，将Julia库路径放在最前面，覆盖系统库的优先级：

%environment
# 清空原有LD_LIBRARY_PATH，优先加载Julia依赖库
export LD_LIBRARY_PATH=""
# 动态获取Julia的HDF5和LibCURL库路径
export LD_LIBRARY_PATH=$(julia -e 'using HDF5_jll, LibCURL_jll; println(join([dirname(HDF5_jll.libhdf5_path), dirname(LibCURL_jll.libcurl_path)], ":"))')
# 最后添加系统必要库路径
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib/x86_64-linux-gnu

容器启动后，执行以下命令检查libhdf5.so依赖的libcurl路径：

ldd /home/v_vl/.julia/artifacts/2829a1f6a9ca59e5b9b53f52fa6519da9c9fd7d3/lib/libhdf5.so | grep libcurl

若输出显示的是Julia artifacts目录下的libcurl文件，说明配置生效。

内容的提问来源于stack exchange，提问作者Varvara Vladimirova