Hive Metastore迁移至Unity Catalog时如何保持原有存储路径结构？

核心逻辑 #

Unity Catalog默认生成带__unitystorage和哈希值的路径，是因为创建的是托管表或未显指定存储路径的外部表。要实现和Hive一致的简洁存储架构，必须显式为Schema、表指定对应存储位置，且使用外部表模式。

具体操作步骤 #

1. 确认外部位置已配置 #

你已创建指向目标ADLS Gen2存储的外部位置，假设该外部位置对应根路径为abfss://container_name@storage_name.dfs.core.windows.net/data/。

2. 创建Catalog时指定基础路径（可选，用于统一管理） #

创建Catalog时可指定基础路径，确保所有Schema都在该目录下：

CREATE CATALOG my_uc_catalog
MANAGED LOCATION 'abfss://container_name@storage_name.dfs.core.windows.net/data/';

3. 显式指定Schema的存储路径 #

创建Schema时，不要使用默认托管位置，直接指定到你需要的简洁路径，比如data/my_uc_schema/：

CREATE SCHEMA my_uc_catalog.my_uc_schema
LOCATION 'abfss://container_name@storage_name.dfs.core.windows.net/data/my_uc_schema/';

注意：指定的路径必须在已授权的外部位置范围内，否则会触发权限错误。

4. 创建外部表时指定表级路径 #

在上述Schema下创建外部表，直接指定表对应的子路径，即可得到你想要的简洁格式：

CREATE EXTERNAL TABLE my_uc_catalog.my_uc_schema.my_uc_table (
  id INT,
  name STRING
)
LOCATION 'abfss://container_name@storage_name.dfs.core.windows.net/data/my_uc_schema/my_uc_table/'
STORED AS PARQUET; -- 根据实际数据格式调整，比如ORC、CSV等

此时表的存储路径完全符合需求，不会生成__unitystorage和哈希目录。

5. 迁移现有Hive表（可选） #

若要迁移Hive中已存在的表，无需移动数据，直接在UC中创建外部表指向原Hive表的路径即可：

CREATE EXTERNAL TABLE my_uc_catalog.my_uc_schema.existing_hive_table
LIKE hive_metastore.hive_schema.existing_hive_table
LOCATION 'abfss://container_name@storage_name.dfs.core.windows.net/data/hive_schema/existing_hive_table/';

关键注意事项 #

• 必须使用CREATE EXTERNAL TABLE，而非默认的CREATE TABLE（后者为托管表，会自动生成管理目录）。
• 所有指定的路径需在已授权的外部位置范围内，确保Unity Catalog拥有读写权限。
• 批量迁移可编写脚本遍历Hive的Schema和表，自动生成UC外部表的创建语句。

内容的提问来源于stack exchange，提问作者BeGreen