如何将一个Workspace中的Pipeline与Notebook迁移至另一Workspace？

Pipeline迁移方案 #

无需重新创建，可通过以下几种方式迁移：

• 导出/导入配置文件：在原Workspace找到目标Pipeline，导出其配置文件（通常为JSON格式），然后在新Workspace的Pipeline创建界面选择导入该配置。导入后需调整集群关联、数据源权限等环境依赖项，确保与新Workspace的资源匹配。
• CLI工具批量迁移：使用平台提供的CLI工具（如Databricks CLI）执行命令导出：

  databricks pipelines export --pipeline-id <原PipelineID> > pipeline-config.json
  

  配置新Workspace的CLI环境后，导入配置：

  databricks pipelines create --config-file pipeline-config.json
  

  注意提前替换配置文件中的集群ID、存储路径等环境特定参数。
• 模板化复用：若存在多个结构相似的Pipeline，可将通用配置提炼为模板，在新Workspace直接基于模板创建实例，大幅减少重复操作。

Notebook迁移方案 #

Notebook的迁移逻辑与Pipeline类似，支持以下操作：

• 手动导出/导入：在原Workspace将Notebook导出为DBR、IPYNB或HTML格式，然后在新Workspace的Notebook界面选择导入文件，同时保持原有的目录结构，便于后续管理。
• CLI批量迁移目录：通过CLI命令批量导出整个Notebook目录：

  databricks notebooks export_dir --source-dir /Users/原用户/Notebook目录 --output-dir ./本地存储目录
  

  再批量导入到新Workspace：

  databricks notebooks import_dir --source-dir ./本地存储目录 --target-dir /Users/新用户/目标目录
  

• 跨Workspace直接复制：部分平台支持跨Workspace的直接复制功能，在原Workspace选中需要迁移的Notebook或目录，选择复制到目标Workspace即可，前提是两个Workspace已配置好跨空间访问权限。

迁移注意事项 #

• 迁移后需逐一验证新Workspace的集群权限、数据源访问权限、第三方库依赖是否配置完整，避免运行失败。
• 所有包含环境特定信息的参数（如集群ID、存储桶路径）必须替换为新Workspace的对应值。
• 迁移完成后先测试单个Pipeline和Notebook的运行状态，确认功能正常后再批量上线。

内容的提问来源于stack exchange，提问作者Briana