如何在Databricks中为指定Repo切换Blob存储容器

1. 先确认容器"y"的访问权限 #

• 确保当前集群能访问容器"y"：如果用服务主体（Service Principal），给它分配容器"y"的Storage Blob Data Contributor权限；如果用SAS令牌，确认令牌有对应的读写权限且未过期。
• 准备好访问容器"y"的凭据：可以存在Databricks的Secret Scope里，或者直接在代码中调用（推荐用Secret管理，避免硬编码）。

2. 修改Repo2的数据源路径 #

• 找出Repo2里所有加载/写入数据的代码（比如spark.read、dbutils.fs相关操作），把原来指向容器"x"的路径替换成"y"：
  • 原路径示例：wasbs://x@<存储账号名>.blob.core.windows.net/
  • 修改后：wasbs://y@<存储账号名>.blob.core.windows.net/
• 如果Repo2用了统一的配置文件（比如config.py、settings.json），直接改配置文件里的数据源根路径就行，不用逐个改代码。

3. 给Repo2配置专属凭据（可选但推荐） #

如果不想让集群全局访问容器"y"，可以给Repo2单独设置访问凭据：

• 在Databricks Secret Scope里添加容器"y"的访问密钥或SAS令牌，比如命名为storage-y-key或者storage-y-sas。
• 在Repo2的代码里调用这个密钥，示例代码：

  storage_account = "你的存储账号名"
  container_y_sas = dbutils.secrets.get("你的Secret Scope名称", "storage-y-sas")
  spark.conf.set(f"fs.azure.sas.y.{storage_account}.blob.core.windows.net", container_y_sas)
  

4. 验证切换效果 #

• 在集群上跑Repo2的测试代码，确认能正常读写容器"y"的数据；同时检查其他Repo的代码，确保它们仍能正常访问容器"x"，别误改了全局配置。
• 可以读一条容器"y"的样本数据，确认内容没问题。

5. 通知相关用户 #

• 告诉用Repo2的人数据源已经切换了，如果他们有本地开发环境，可能需要同步调整配置。

内容的提问来源于stack exchange，提问作者dawid2312