Azure Databricks UC集群Git克隆至Volume卡在Resolving deltas问题求助

针对你在DBR 13.3 LTS Shared模式UC集群中，Git克隆到Volume卡在Resolving deltas步骤的问题，可尝试以下几种解决方案：

1. 使用Git浅克隆减少数据传输 #

如果仓库历史较大，完整克隆会因数据量过大导致卡住，可尝试浅克隆（仅拉取最新版本）：

!git clone --depth 1 https://$MyGitPAT@dev.azure.com/repo_path /Volumes/catalogname/schemaname/volumename/tmp/repo

若需要特定分支的完整历史，可结合--single-branch参数：

!git clone --single-branch --branch main https://$MyGitPAT@dev.azure.com/repo_path /Volumes/catalogname/schemaname/volumename/tmp/repo

2. 验证Volume权限与可写性 #

先确认集群对目标Volume有完整读写权限，执行以下命令测试：

!touch /Volumes/catalogname/schemaname/volumename/tmp/test_write.txt
!echo "test_content" > /Volumes/catalogname/schemaname/volumename/tmp/test_write.txt
!cat /Volumes/catalogname/schemaname/volumename/tmp/test_write.txt
!rm /Volumes/catalogname/schemaname/volumename/tmp/test_write.txt

若上述命令失败，需在Unity Catalog中调整Volume的权限，确保集群对应的服务主体拥有WRITE和MODIFY权限。

3. 切换Shell执行方式 #

尝试用%sh魔法命令替代!前缀，两者的环境变量加载逻辑可能不同：

%sh
# 先验证PAT是否正确加载
echo $MyGitPAT
# 执行克隆
git clone https://$MyGitPAT@dev.azure.com/repo_path /Volumes/catalogname/schemaname/volumename/tmp/repo

若PAT未正确加载，需在笔记本中先通过%env或Databricks Secrets设置变量：

%env MyGitPAT=$(dbutils.secrets.get("your_secret_scope", "git_pat_secret"))

4. 采用集群初始化脚本执行克隆 #

正如你考虑的，将克隆命令加入集群初始化脚本，在集群启动阶段执行，避免笔记本单元格的超时限制：

1. 创建初始化脚本内容：

#!/bin/bash
# 清理旧目录
rm -rf /Volumes/catalogname/schemaname/volumename/tmp/repo
# 从Secrets获取PAT（需提前配置）
GIT_PAT=$(databricks secrets get --scope your_secret_scope --key git_pat_secret)
# 执行克隆
git clone https://${GIT_PAT}@dev.azure.com/repo_path /Volumes/catalogname/schemaname/volumename/tmp/repo

2. 将脚本上传至DBFS或Volume，在集群配置的"初始化脚本"中添加路径。

5. 后台执行并查看日志 #

若克隆过程耗时较长，可后台执行并输出日志排查问题：

!nohup git clone https://$MyGitPAT@dev.azure.com/repo_path /Volumes/catalogname/schemaname/volumename/tmp/repo > /Volumes/catalogname/schemaname/volumename/tmp/clone_log.txt 2>&1 &

等待一段时间后查看日志：

!cat /Volumes/catalogname/schemaname/volumename/tmp/clone_log.txt

日志中会显示具体的错误或进度信息，帮助定位问题。

内容的提问来源于stack exchange，提问作者Lucas Mengual