如何在Azure中将Delta表从开发环境备份至生产环境不同存储位置

以下方案均支持两端Delta表结构一致前提下的全量数据+元数据完整同步，保证生产端和开发端数据100%对齐：

方案1：Delta Lake原生DEEP CLONE命令（最推荐，准确性最高） #

• 适用场景：有可同时访问开发、生产存储的Spark计算环境（Azure Databricks、Azure Synapse Spark Pool均可）
• 操作逻辑：深克隆会完整复制源端所有数据文件、Delta日志、版本历史、表结构，自动做数据一致性校验，无需手动处理文件对应关系，后续还支持增量同步
• 执行命令：

CREATE OR REPLACE TABLE delta.`abfss://prod1@prod.dfs.core.windows.net/生产表路径` 
DEEP CLONE delta.`abfss://dev1@dev.dfs.core.windows.net/开发源表路径`;

• 注意：执行前需要确保Spark集群对两个存储位置都有读写权限，命令执行后会直接覆盖生产端现有表的全部内容。

方案2：Azure Data Factory（ADF）复制活动 #

• 适用场景：不想依赖Spark计算环境，用低代码工具完成同步
• 操作步骤：
  • 新建ADF流水线，分别创建开发存储、生产存储的链接服务，确保权限配置正确
  • 添加复制活动，源数据集选择Delta格式，指向开发端dev1@dev下的表路径
  • 接收器数据集选择Delta格式，指向生产端prod1@prod下的表路径，写入行为设置为覆盖整个表，勾选保留Delta日志选项
  • 触发流水线运行即可完成同步

方案3：az copy全量文件复制（仅适用于同步期间源表无写入的冷同步场景） #

• 适用场景：源Delta表同步窗口期完全无写入，不需要保留后续增量同步能力
• 执行命令：

az copy copy "https://dev.blob.core.windows.net/dev1/源表根目录/*" "https://prod.blob.core.windows.net/prod1/生产表根目录/" --recursive=true --overwrite=true

• 注意：同步完成后需要在生产端执行REFRESH TABLE 生产表名或者MSCK REPAIR TABLE 生产表名刷新表元数据，确认数据可正常读取。

同步完成后推荐做一致性校验：分别统计两端表的总行数、关键列聚合值（sum/max等），也可以执行DESCRIBE HISTORY命令核对两端版本历史是否完全一致，避免同步异常。

内容的提问来源于stack exchange，提问作者Mahdi