在Databricks中连接Azure DevOps Git仓库及解决认证报错问题

问题原因 #

克隆Azure DevOps Git仓库时需要身份认证，直接使用原始仓库URL会触发用户名验证，但代码未提供认证信息，导致出现fatal: could not read Username for <repo_url>错误。

解决方案 #

1. 构造带认证的仓库URL #

Azure DevOps支持用PAT（个人访问令牌）作为认证凭证，构造URL时将PAT嵌入其中，格式如下：

• 新格式URL：https://<你的PAT>@dev.azure.com/<组织名>/<项目名>/_git/<仓库名>
• 旧格式URL：https://<你的PAT>@<组织名>.visualstudio.com/<项目名>/_git/<仓库名>

2. 完整代码实现 #

以下代码包含仓库克隆、YAML文件修改、提交及推送的全流程：

import git
import os

# 替换为你的实际参数
repo_url = "https://dev.azure.com/your-org/your-project/_git/your-repo"
pat_token = "your-personal-access-token"
dbfs_path = "/dbfs/mnt/your-repo-clone"  # 确保该DBFS路径存在且有读写权限
target_yaml = os.path.join(dbfs_path, "config.yaml")  # 目标YAML文件路径

# 生成带认证的仓库地址
auth_repo_url = repo_url.replace("https://", f"https://{pat_token}@")

# 克隆仓库（若已克隆，直接用git.Repo(dbfs_path)打开）
repo = git.Repo.clone_from(auth_repo_url, dbfs_path, branch='master')

# 修改YAML文件示例（替换为你的实际修改逻辑）
with open(target_yaml, "r+", encoding="utf-8") as f:
    content = f.read()
    # 示例：替换配置项值
    updated_content = content.replace("max_count: 10", "max_count: 20")
    f.seek(0)
    f.write(updated_content)
    f.truncate()

# 提交变更
repo.index.add([target_yaml])
repo.index.commit("Update YAML config via Databricks")

# 推送到远程master分支
origin = repo.remote("origin")
origin.push()

注意事项 #

• 确保Databricks集群已安装gitpython库，未安装则执行：%pip install gitpython
• DBFS路径需具备读写权限，推荐使用/dbfs/mnt/下的挂载路径
• 生成PAT时需勾选Azure DevOps仓库的读取、写入权限，权限范围不足会导致推送失败
• 若仓库已存在于DBFS中，跳过克隆步骤，直接用git.Repo(dbfs_path)加载仓库

内容的提问来源于stack exchange，提问作者user19930511