Azure Blob多子目录Delta表批量创建Hive Metastore单库链接表

实现步骤 #

1. 定义根存储路径 #

替换为你实际的Blob存储根路径（对应Lvl1/Lvl2的完整ABFS路径）：

root_path = "abfss://<container-name>@<storage-account-name>.dfs.core.windows.net/Lvl1/Lvl2/"

2. 遍历目录并批量创建链接表 #

使用dbutils.fs.ls递归遍历目录，筛选合法Delta表（通过_delta_log目录验证），自动生成db_table格式的表名并创建链接：

# 遍历根目录下的所有db文件夹
for db_dir in dbutils.fs.ls(root_path):
    db_name = db_dir.name.strip('/')
    # 遍历每个db下的表文件夹
    for table_dir in dbutils.fs.ls(db_dir.path):
        table_name = table_dir.name.strip('/')
        # 验证是否为合法Delta表
        delta_log_path = f"{table_dir.path}_delta_log/"
        if dbutils.fs.exists(delta_log_path):
            # 生成目标表名
            target_table_name = f"{db_name}_{table_name}"
            delta_table_path = table_dir.path
            # 执行创建表语句
            spark.sql(f"""
                CREATE TABLE IF NOT EXISTS parentdb.{target_table_name}
                USING DELTA
                LOCATION '{delta_table_path}'
            """)
            print(f"已创建链接表：parentdb.{target_table_name} | 对应路径：{delta_table_path}")

3. 验证结果 #

执行完成后，在Databricks的Data标签页进入Hive Metastore的parentdb数据库，即可看到所有形如db1_table1、db2_table2的链接表。

注意事项 #

• 确保集群已配置Blob存储的访问权限（如托管身份、Service Principal或SAS Token）
• 若目录结构层级更深，可按需调整遍历逻辑
• CREATE TABLE IF NOT EXISTS会跳过已存在的表，避免重复操作

内容的提问来源于stack exchange，提问作者Pysparker