如何将GitHub commit的Hash Code获取至Databricks workspace中

方案1：依托GitHub Actions流水线自动同步 #

• 每次GitHub产生新commit、触发push或PR合并事件时，GitHub Actions会自动将当前触发事件的完整commit hash存入内置环境变量github.sha，无需手动额外获取
• 在流水线对接Databricks的部署环节，直接读取该环境变量值写入Databricks运行时配置即可完成同步，支持的写入位置包括：
  • 写入Databricks集群的全局环境变量，后续所有挂载在集群上的Notebook、作业都可直接读取
  • 直接配置到对应Databricks Job的运行参数中，绑定当前部署的代码版本
  • 写入Databricks笔记本的初始化参数，供交互式开发场景读取
• 该方案不会出现commit hash和实际部署到Databricks的代码版本错位的问题

方案2：在Databricks Notebook内主动拉取最新Commit Hash #

• 提前给Databricks配置的Git仓库账号授予拉取权限，私有仓库的认证令牌需要通过Databricks Secrets存储，禁止硬编码在代码中
• 无需全量拉取仓库代码到Databricks本地，直接通过Git原生命令拉取对应分支的最新commit hash即可，核心命令为git ls-remote <仓库地址> <目标分支名>，命令输出内容的前40位就是对应分支的最新commit hash值
• 拿到hash值后，可通过dbutils工具把值存入作业全局上下文、或是Databricks Secrets作用域，供后续所有组件调用，参考实现代码：

  import subprocess
  # 拉取远程main分支的最新commit hash
  remote_branch = "main"
  repo_addr = "对应Git仓库的远程地址"
  latest_commit = subprocess.check_output(
      ["git", "ls-remote", repo_addr, remote_branch],
      text=True
  ).split()[0]
  # 将值写入作业全局可读取的上下文中
  dbutils.jobs.taskValues.set(key="git_commit_hash", value=latest_commit)
  

实操提醒：如果是要匹配Databricks上已关联Git的版本化文件，可直接调用Databricks的版本关联能力读取当前Workspace内同步文件对应的commit标识，无需重新执行Git拉取命令

内容的提问来源于stack exchange，提问作者Hrishikesh Thakurdesai