如何在Azure Data Factory中读取Blob存储上Delta文件的指定版本

1. 利用ADF复制活动的Delta Lake原生支持 #

这是最直接的实现方式：

• 将复制活动的源类型设置为Delta Lake（不要选普通文件存储或Parquet类型）
• 在源配置的附加属性中添加versionAsOf参数，值填写目标版本号（例如45）
• 确认连接Blob存储的链接服务拥有完整读取权限，能访问Delta目录下的_delta_log元数据文件夹

2. 构造带版本参数的Delta路径 #

如果不想使用Delta Lake源类型，可直接构造版本化访问路径：

• 使用格式：abfss://<容器名>@<存储账户名>.dfs.core.windows.net/<Delta目录路径>/?versionAsOf=<版本号>
• 将该路径作为ADF复制活动的文件存储源路径，文件格式选择Parquet。这种方式依赖Delta的版本路径规则，需确保_delta_log目录完整未被修改

3. 通过Databricks Notebook活动实现精准读取 #

若复制活动的配置无法满足需求，可结合ADF的Databricks Notebook活动：

• 在Notebook中编写代码指定版本读取数据：

  df = spark.read.format("delta").option("versionAsOf", 123).load("abfss://<容器名>@<存储账户名>.dfs.core.windows.net/<Delta目录路径>")
  

• 将读取后的DataFrame写入Blob存储的临时路径，再用复制活动读取该临时路径的数据

关键注意事项 #

• 必须保证Blob存储上的Delta目录结构完整，_delta_log文件夹不能被删除或篡改，否则版本读取会失效
• 确保ADF运行时版本足够新，旧版本可能不支持Delta Lake源的版本参数
• 链接服务需要拥有Delta目录下所有文件（包括元数据日志）的读取权限

内容的提问来源于stack exchange，提问作者euh