GCP Dataproc中Jupyter笔记本Git版本控制与未提交代码持久化问题

针对你遇到的Dataproc集群删除时未提交Git修改丢失、同时需要双向Git操作的问题，提供以下3种实用方案：

方案1：GCS FUSE挂载仓库目录（自动同步GCS） #

通过GCS FUSE将GCS桶的指定目录挂载到集群本地，Git操作直接在挂载目录执行，修改会自动同步到GCS实现持久化，同时不影响正常提交到Github。

操作步骤 #

1. 修改初始化脚本clone-repo-with-gcs-fuse.sh：

#!/bin/bash
# 安装GCS FUSE
echo "deb https://packages.cloud.google.com/apt gcsfuse-bullseye main" > /etc/apt/sources.list.d/gcsfuse.list
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
apt-get update
apt-get install -y gcsfuse

# 创建本地挂载目录并挂载GCS路径
mkdir -p /home/jupyter/git-repo
gcsfuse --implicit-dirs {bucket-name}/git-repo /home/jupyter/git-repo

# 克隆或拉取仓库到挂载目录
cd /home/jupyter/git-repo
if [ -d .git ]; then
  git pull origin main
else
  git clone https://github.com/{user}/{repo-name} .
fi

# 调整权限让Jupyter用户可访问
chown -R jupyter:jupyter /home/jupyter/git-repo

2. 更新集群创建命令：

gcloud dataproc clusters create test-init-actions \
    --enable-component-gateway \
    --bucket {bucket-name} \
    --single-node \
    --image-version=2.1.0-RC2-debian11 \
    --optional-components JUPYTER \
    --project {project-name} \
    --initialization-actions=gs://{project-name}/initialization-actions/clone-repo-with-gcs-fuse.sh

优势与注意点 #

• 优势：修改自动同步GCS，集群删除不丢数据；支持正常git commit/push到Github；本地可通过GCS客户端访问修改后的文件。
• 注意点：GCS FUSE存在一定性能开销，适合中小规模仓库；私有仓库需在初始化脚本中配置Git凭证（如从GCS拉取SSH密钥）。

方案2：定时自动提交到Github备份分支 #

保留集群本地Git仓库的工作流，通过定时任务自动将未提交修改提交到专门的备份分支，避免遗忘导致数据丢失。

操作步骤 #

修改初始化脚本，添加定时自动备份逻辑：

#!/bin/bash
# 克隆仓库到本地
git clone https://github.com/{user}/{repo-name} /home/jupyter/git-repo
chown -R jupyter:jupyter /home/jupyter/git-repo

# 添加每30分钟自动备份的定时任务
cat << EOF > /etc/cron.d/git-backup
*/30 * * * * jupyter cd /home/jupyter/git-repo && git add . && git commit -m "Dataproc auto-backup: $(date)" --allow-empty && git push origin HEAD:dataproc-backup
EOF
chmod 644 /etc/cron.d/git-backup
service cron restart

优势与注意点 #

• 优势：不改变原有Git工作流，备份自动执行；集群删除后可从dataproc-backup分支恢复未完成修改，再合并到主分支。
• 注意点：需确保集群有Github推送权限（私有仓库配置SSH密钥）；备份分支会产生大量自动提交，需定期清理或合并。

方案3：使用持久化磁盘存储仓库 #

创建集群时指定持久化磁盘，将Git仓库放在磁盘上，集群删除时保留磁盘，下次创建集群重新挂载即可复用数据。

操作步骤 #

1. 创建带持久化磁盘的集群：

gcloud dataproc clusters create test-init-actions \
    --enable-component-gateway \
    --bucket {bucket-name} \
    --single-node \
    --image-version=2.1.0-RC2-debian11 \
    --optional-components JUPYTER \
    --project {project-name} \
    --initialization-actions=gs://{project-name}/initialization-actions/clone-repo.sh \
    --disk-type pd-standard \
    --disk-size 50GB \
    --persistent-disk-mode READ_WRITE

2. 修改初始化脚本，将仓库克隆到持久化磁盘挂载点（默认路径为/mnt/disks/下的目录，需提前确认挂载状态）。
3. 集群删除时选择保留磁盘，下次创建集群添加--disk name={disk-name},mode=READ_WRITE参数复用磁盘。

优势与注意点 #

• 优势：性能优于GCS FUSE，适合大型仓库；数据持久化在磁盘，集群删除不丢失。
• 注意点：磁盘与集群需在同一区域；需手动管理磁盘生命周期，避免资源浪费。

内容的提问来源于stack exchange，提问作者gregorp