提交依赖仓库文件的Slurm作业后切换Git分支的解决方案咨询

以下是几种无需克隆完整临时仓库的可行方案：

1. 提交时复制当前代码到临时目录 #

直接把当前分支的代码复制到独立临时目录，让Slurm作业在该目录下运行，彻底隔离本地分支切换的影响。

工作流示例： #

git checkout dev1
# 创建唯一临时目录（时间戳避免冲突）
TMP_DIR="/tmp/training_job_$(date +%Y%m%d_%H%M%S)"
mkdir -p $TMP_DIR
# 复制当前代码到临时目录（可过滤.git、日志等无关文件）
cp -r ./run_training.py ./requirements.txt $TMP_DIR/
# 指定临时目录为作业工作目录提交
sbatch --workdir=$TMP_DIR run_training.sbatch

对应的run_training.sbatch无需修改： #

#SBATCH --job-name=training
#SBATCH --nodes=1
...
python run_training.py

注意：若集群无自动清理机制，需手动定期清理/tmp下的作业目录。

2. 用Git归档打包当前分支代码 #

利用Git原生归档功能，把当前分支的代码打包成压缩包，作业启动时解压到临时目录运行，确保代码是提交时的版本。

工作流示例： #

git checkout dev1
# 打包当前HEAD指向的代码（自动排除.git目录）
git archive --format=tar.gz HEAD -o training_code.tar.gz
# 提交作业
sbatch run_training.sbatch

修改后的run_training.sbatch： #

#SBATCH --job-name=training
#SBATCH --nodes=1
...
# 创建临时目录
TMP_DIR=$(mktemp -d)
# 解压归档文件到临时目录
tar -xzf training_code.tar.gz -C $TMP_DIR
# 进入临时目录执行训练脚本
cd $TMP_DIR
python run_training.py
# 可选：运行完成后清理临时目录
rm -rf $TMP_DIR

3. 在作业脚本中指定固定Git提交哈希 #

如果集群节点能访问你的Git仓库，可在提交作业时传递当前分支的提交哈希，让作业启动时自动切到该哈希对应的代码版本。

工作流示例： #

git checkout dev1
# 获取当前提交哈希并传递给作业
sbatch --export=GIT_COMMIT=$(git rev-parse HEAD) run_training.sbatch
# 立即切换分支不影响作业
git checkout dev2

修改后的run_training.sbatch： #

#SBATCH --job-name=training
#SBATCH --nodes=1
...
# 切到指定的提交哈希（确保代码版本固定）
git checkout $GIT_COMMIT
# 执行训练脚本
python run_training.py

注意：多个作业共享同一工作目录可能出现checkout冲突，建议配合--workdir指定独立目录；私有仓库需在集群节点配置Git凭证（如SSH密钥）。

4. 为不同分支维护独立工作目录 #

提前为常用分支创建独立本地目录，每个目录对应固定分支，提交作业时直接指定对应目录，彻底避免分支切换的影响。

初始化分支目录： #

# 为dev1创建独立目录
mkdir ~/training_dev1
cd ~/training_dev1
git clone <你的仓库地址> .
git checkout dev1

# 为dev2创建独立目录
mkdir ~/training_dev2
cd ~/training_dev2
git clone <你的仓库地址> .
git checkout dev2

提交作业： #

# 提交dev1的作业
sbatch --workdir=~/training_dev1 run_training.sbatch
# 切换到dev2目录开发，不影响dev1的作业
cd ~/training_dev2
# 修改代码、提交dev2的作业等

内容的提问来源于stack exchange，提问作者Thomas K