在Google Slurm集群登录节点挂载Bucket后如何实现全节点访问

方案1：全节点统一自动挂载 #

• 别只在登录节点挂载，用Slurm节点启动脚本或者集群配置工具（比如Ansible），让所有计算节点启动时自动执行挂载命令：

  gcsfuse --implicit-dirs 你的Bucket名称 /home/my_data
  

• 前提是所有节点都安装了gcsfuse，并且有权限访问Bucket——可以把服务账号密钥放在共享的/home目录，或者给节点的实例服务账号添加Bucket的访问权限。

方案2：作业级临时挂载 #

• 如果不需要节点一直挂载，仅在作业运行时访问，可以给作业添加前置挂载步骤：
  1. 在共享/home目录下创建挂载脚本mount_gcs.sh：

     #!/bin/bash
     if ! mountpoint -q /home/my_data; then
       gcsfuse --implicit-dirs 你的Bucket名称 /home/my_data
     fi
     

  2. 提交作业时调用该脚本：

     sbatch --wrap="bash /home/mount_gcs.sh && 你的作业命令"
     

• 若有管理员权限，也可修改Slurm的Prolog配置，让节点接收作业前自动执行挂载操作。

方案3：NFS中转挂载（不推荐） #

• 不在登录节点直接挂载到共享/home，先挂载到登录节点本地目录，再通过NFS共享给其他节点：
  1. 登录节点本地挂载：

     gcsfuse --implicit-dirs 你的Bucket名称 /local/gcs_mount
     

  2. 其他节点挂载这个NFS目录：

     mount 登录节点IP:/local/gcs_mount /home/my_data
     

• 缺点：登录节点会成为性能瓶颈，一旦登录节点故障，所有节点都会失去Bucket访问权限。

必看注意事项 #

• 所有节点的gcsfuse版本尽量保持一致，避免兼容性问题
• 节点权限需配置到位：优先使用GCE实例服务账号，给它添加Storage Object Viewer或Storage Admin角色
• 挂载时必须加上--implicit-dirs参数，否则Bucket内的目录可能无法被识别

内容的提问来源于stack exchange，提问作者Izik