如何本地修改ADF关联的Databricks Notebook并通过CI/CD推送变更？

步骤说明 #

1. 同步Notebook到本地仓库（首次操作） #

• 登录Databricks工作区，找到路径为/test_notebook_path的目标Notebook
• 将其导出为.ipynb格式文件，存入本地GitHub仓库的指定目录（例如新建databricks_notebooks文件夹）

2. 本地修改Notebook代码 #

• 用Jupyter Notebook、VS Code等工具打开本地的.ipynb文件，完成代码修改后保存

3. 提交并推送代码到GitHub #

• 打开终端进入本地仓库目录，执行以下Git命令：

  git add ./databricks_notebooks/[你的Notebook文件名].ipynb
  git commit -m "更新Test_Notebook代码：[填写具体修改内容]"
  git push origin [你的分支名称]
  

4. 触发CI/CD流水线部署 #

• 代码推送后，已配置的GitHub Actions会自动触发流水线
• 流水线需包含核心部署步骤：
  • 使用Databricks CLI将本地Notebook覆盖部署到Databricks工作区对应路径：

    databricks workspace import --overwrite /test_notebook_path ./databricks_notebooks/[你的Notebook文件名].ipynb
    

  • （可选）添加ADF管道测试步骤，验证更新后的Notebook能否正常运行

注意事项 #

• 确保GitHub Actions已配置Databricks访问令牌，拥有工作区文件修改权限
• 仅当Notebook路径变更时，才需要修改pipeline/publish_config.json中的notebookPath字段，常规代码更新无需改动ADF配置
• 推送前建议在本地测试Notebook代码，确保逻辑正确

内容的提问来源于stack exchange，提问作者Hari