如何将Unity Catalog中已有托管/外部表迁移至其他存储账户/Blob

一、托管表存储迁移 #

托管表的存储由Unity Catalog元数据仓库（Metastore）统一管理，根存储位置为Metastore级别配置。迁移步骤如下：

• 1. 备份原表数据
     使用COPY INTO将托管表数据复制到新存储账户的临时路径（确保新路径已配置对应权限）：

  COPY INTO 'abfss://<container>@<new-storage-account>.dfs.core.windows.net/temp-backup'
  FROM <catalog>.<schema>.<managed-table>
  FILEFORMAT = PARQUET;
  

  或直接创建临时外部表保存数据：

  CREATE EXTERNAL TABLE <catalog>.<schema>.<temp-table>
  LOCATION 'abfss://<container>@<new-storage-account>.dfs.core.windows.net/temp-backup'
  AS SELECT * FROM <catalog>.<schema>.<managed-table>;
  

• 2. 更新Metastore根存储位置
     先确保新存储账户的Blob路径已配置正确的访问凭证，执行以下命令修改Metastore根存储：

  ALTER METASTORE SET LOCATION 'abfss://<container>@<new-storage-account>.dfs.core.windows.net/';
  

• 3. 重建托管表并恢复数据
     删除原托管表（可选，若需保留原表可跳过），从临时表恢复数据到新的托管表：

  CREATE TABLE <catalog>.<schema>.<new-managed-table>
  AS SELECT * FROM <catalog>.<schema>.<temp-table>;
  

• 4. 验证迁移结果
     查询表的存储位置及数据完整性：

  DESCRIBE EXTENDED <catalog>.<schema>.<new-managed-table>;
  SELECT COUNT(*) FROM <catalog>.<schema>.<new-managed-table>;
  

二、外部表存储迁移 #

外部表的存储位置由表级配置或外部位置（External Location）对象管理，迁移更灵活：

场景1：使用外部位置对象管理存储 #

• 1. 创建新的外部位置
     配置新存储账户的访问凭证后，创建新外部位置：

  CREATE EXTERNAL LOCATION <new-external-location>
  URL 'abfss://<container>@<new-storage-account>.dfs.core.windows.net/target-path'
  WITH (CREDENTIAL <new-storage-credential>);
  

• 2. 迁移存储数据
     使用存储原生工具（如Azure Storage Explorer、AWS S3 Sync）或COPY INTO将原外部表数据复制到新外部位置路径：

  COPY INTO <new-external-location-url>
  FROM <catalog>.<schema>.<external-table>
  FILEFORMAT = PARQUET;
  

• 3. 修改外部表指向新位置
     直接更新外部表的存储路径到新外部位置：

  ALTER TABLE <catalog>.<schema>.<external-table>
  SET LOCATION '<new-external-location-url>/table-specific-path';
  

场景2：直接指定存储路径的外部表 #

• 1. 迁移数据到新存储路径
     同上述数据迁移方式，将原表数据复制到新存储账户的目标路径。
• 2. 更新表的存储位置
     执行命令修改外部表的存储路径：

  ALTER TABLE <catalog>.<schema>.<external-table>
  SET LOCATION 'abfss://<container>@<new-storage-account>.dfs.core.windows.net/new-table-path';
  

三、灵活切换存储位置的方案 #

托管表切换 #

托管表默认绑定Metastore根存储，若需灵活切换，可将托管表转为外部表：

ALTER TABLE <catalog>.<schema>.<managed-table>
SET LOCATION '<external-storage-path>';

转为外部表后，即可通过ALTER TABLE ... SET LOCATION随时切换到不同存储路径；若需恢复为托管表，可将数据复制回Metastore根存储路径后执行：

ALTER TABLE <catalog>.<schema>.<external-table>
SET LOCATION '<metastore-root-path>/table-path';

外部表切换 #

• 提前创建多个对应不同存储账户的外部位置对象，切换时只需修改表的LOCATION指向目标外部位置的路径，无需重复配置凭证。
• 若未使用外部位置，直接通过ALTER TABLE ... SET LOCATION命令切换路径即可，前提是新路径已配置好访问权限且数据已同步。

注意事项 #

• 所有操作需确保执行用户拥有Metastore、表、外部位置的修改权限。
• 数据迁移后需验证数据一致性，避免丢失或损坏。
• 若涉及跨云存储迁移，需确保存储格式兼容，必要时转换文件格式。

内容的提问来源于stack exchange，提问作者Saurabh Mehta