Enroot在多节点Slurm集群中如何共享镜像缓存与数据？

1. 准备跨节点共享存储 #

• 先在集群中搭建所有GPU节点均可挂载的共享文件系统（如NFS、Lustre），创建专属共享目录，比如/shared/enroot
• 验证所有节点已稳定挂载该目录（可通过mount命令确认）

2. 修改Enroot全局配置 #

编辑所有节点的/etc/enroot/enroot.conf文件，取消对应路径注释并修改为共享存储路径：

ENROOT_LIBRARY_PATH        /usr/lib/enroot
ENROOT_SYSCONF_PATH        /etc/enroot
ENROOT_RUNTIME_PATH        ${XDG_RUNTIME_DIR}/enroot
ENROOT_CONFIG_PATH         ${XDG_CONFIG_HOME}/enroot
ENROOT_CACHE_PATH          /shared/enroot/cache
ENROOT_DATA_PATH           /shared/enroot/data
ENROOT_TEMP_PATH           ${TMPDIR:-/tmp}

• ENROOT_CACHE_PATH是镜像拉取后的缓存目录，ENROOT_DATA_PATH是镜像解压后的数据存储目录，两者都需指向共享路径
• 确保所有节点的配置完全一致，避免节点间配置差异导致的问题

3. 设置共享目录权限 #

• 为共享目录配置合适权限，保证Slurm任务运行用户（含普通用户）对/shared/enroot/cache和/shared/enroot/data拥有读写执行权限
• 示例命令：

chmod -R 775 /shared/enroot
chown -R slurm:slurm /shared/enroot  # 假设Slurm用户组为slurm

• 可根据集群权限策略调整，核心是确保所有提交任务的用户能正常访问

4. 验证配置效果 #

• 在任意节点拉取测试镜像：

enroot pull docker://ubuntu:latest

• 通过Slurm在另一节点提交使用该镜像的任务：

sbatch --gres=gpu:1 -N1 -n1 --wrap="enroot start ubuntu:latest echo 'test'"

• 若任务直接启动镜像无需重新拉取，说明共享缓存配置生效

内容的提问来源于stack exchange，提问作者lei