提交Slurm集群作业后执行Git Pull更新代码，如何保留作业代码？

Slurm处理作业代码的核心机制 #

• 默认情况下，Slurm作业启动后直接在你提交时的工作目录（要么是sbatch命令执行时的当前目录，要么是通过--workdir指定的目录）运行，不会自动把代码复制到临时目录。你听说的/var/slurm/job-<jobid>路径是Slurm用来存作业日志、环境变量这类元数据的，和你的业务代码完全不搭边。
• 只有当集群管理员配置了特殊的隔离机制（比如启用了容器插件、--tmpfs强制临时存储，或者自定义了代码复制脚本），作业代码才会被拷贝到独立空间，但这不是通用配置，绝大多数集群不会这么做。

确保作业代码不受Git更新影响的最佳实践 #

• 提交前克隆独立代码副本：每次提交作业前，把代码库克隆到一个专属的临时目录（比如按时间戳命名），在这个独立副本里提交作业。这样你后续在主仓库执行git pull完全不会影响正在运行的作业。

  # 示例操作
  JOB_DIR=~/jobs/$(date +%Y%m%d_%H%M%S)
  mkdir -p $JOB_DIR
  git clone /path/to/your/repo $JOB_DIR
  cd $JOB_DIR
  sbatch your_job_script.sh
  

• 签出Git固定提交版本：不管用哪个目录，提交作业前先切换到特定的Git提交哈希（而不是停留在分支上）。这样就算后续分支有更新，当前作业的代码版本也不会变。

  # 示例：锁定到指定提交
  git checkout a1b2c3d4ef  # 替换成你需要的提交哈希
  sbatch your_job_script.sh
  

• 在作业脚本里加版本锁定：把Git签出命令放到作业脚本开头，确保作业启动时自动切换到指定版本，避免从提交到启动这段时间里的代码变更影响作业。

  # 作业脚本示例
  #!/bin/bash
  #SBATCH --job-name=my_task
  #SBATCH --nodes=1
  # 先锁定代码版本
  git checkout a1b2c3d4ef
  # 执行任务
  python run_task.py
  

• 用容器或临时存储隔离环境：如果集群支持，可以用Singularity/Docker把代码和依赖打包成镜像，作业直接运行镜像；或者用--tmpfs参数挂载临时内存文件系统，把代码拷贝进去再运行，彻底和主机目录隔离。

内容的提问来源于stack exchange，提问作者HZ-VUW