如何用字典将Databricks中多Schema/表从源目录克隆到多目标目录

核心错误点 #

1. shutil不支持云存储路径：shutil.copyfile是Python标准库中仅用于本地文件系统的工具，无法识别abfss://这类Azure云存储协议路径，所以会抛出“文件不存在”的错误——它根本不知道如何访问云存储路径下的内容。
2. 逻辑方向错误：你要克隆的是Databricks的数据库/表，但代码直接操作底层存储路径。Databricks的表由元数据（库表结构、分区、索引等）+ 底层存储文件组成，直接复制文件不会同步元数据，就算复制成功，目标端也无法识别为合法的Databricks表。

正确实现方案 #

要克隆Databricks的库和表，必须通过Spark SQL或Databricks原生API操作元数据和表数据，以下是基于Python+Spark的实现代码：

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

# 定义源数据库到目标数据库的映射字典
db_mapping = {
    "source_db1": "target_db1",
    "source_db2": "target_db2"
}

for source_db, target_db in db_mapping.items():
    # 先创建目标数据库（不存在则创建）
    spark.sql(f"CREATE DATABASE IF NOT EXISTS {target_db}")
    
    # 获取源数据库下的所有表名
    tables = spark.sql(f"SHOW TABLES IN {source_db}") \
        .select("tableName") \
        .rdd.flatMap(lambda x: x) \
        .collect()
    
    for table_name in tables:
        source_table_full = f"{source_db}.{table_name}"
        target_table_full = f"{target_db}.{table_name}"
        
        # 检查目标表是否存在
        table_exists = spark.sql(f"SHOW TABLES IN {target_db} LIKE '{table_name}'").count() > 0
        
        if table_exists:
            # 已存在表的处理逻辑：这里示例为删除后重新克隆，可根据需求改为跳过/合并
            spark.sql(f"DROP TABLE IF EXISTS {target_table_full}")
            # 用CLONE命令克隆（Delta表支持增量，效率远高于全量复制）
            spark.sql(f"CREATE TABLE {target_table_full} CLONE {source_table_full}")
            print(f"已覆盖克隆表 {source_table_full} -> {target_table_full}")
        else:
            # 直接克隆新表
            spark.sql(f"CREATE TABLE {target_table_full} CLONE {source_table_full}")
            print(f"已克隆表 {source_table_full} -> {target_table_full}")

关键说明 #

• CLONE命令优势：这是Databricks原生支持的高效克隆方式，会同步表的结构、数据、分区、索引等所有元数据；如果是Delta Lake表，还支持增量克隆（仅复制新增/修改的数据）。
• 非Delta表兼容：如果你的表不是Delta格式，可替换为CTAS语句：CREATE TABLE {target_table_full} AS SELECT * FROM {source_table_full}，但这种方式是全量复制，且不会保留部分高级元数据（比如分区字段定义）。
• 权限要求：执行代码的Databricks账号需要同时拥有源库表的读取权限和目标库的写入权限。

内容的提问来源于stack exchange，提问作者kryprojon