从Azure Databricks Delta Lake经ADF复制到ADLS的路径与权限问题求助

一、动态路径/文件名的复制报错处理 #

从Delta Lake直接复制到ADLS时，ADF的直接复制模式有个硬性限制：不能指定具体的动态文件名，仅支持将数据写入文件夹。要实现动态目录+自定义文件名的需求，有两种可行方案：

方法1：启用暂存（需配合权限修复） #

启用暂存后，ADF会先将Delta Lake的数据写入暂存存储，再迁移到目标ADLS的动态路径。该模式支持自定义文件名，但需要解决后续出现的403权限问题，具体修复步骤见下文。

方法2：用Databricks活动替代复制活动 #

如果不想折腾暂存权限配置，直接在ADF中调用Databricks Notebook处理写入逻辑会更灵活：

• 在Notebook中读取Delta表，通过ADF参数传递动态路径，用类似df.write.format("parquet").save(dbutils.widgets.get("target_path"))的代码写入ADLS。
• 这种方式完全由你控制路径规则，避开ADF复制活动的限制。

二、暂存模式下403权限错误修复 #

启用暂存后出现403报错，核心原因是Databricks的身份主体没有访问暂存存储或目标ADLS的权限，按以下步骤排查修复：

1. 检查暂存存储的权限配置

   • 若暂存使用Blob/ADLS Gen2，给Databricks使用的服务主体（或托管标识）分配Storage Blob Data Contributor角色（可选择在存储账户或容器级别分配）。
   • 若使用SAS URI作为暂存凭据，确保SAS包含Read、Write、List权限，且有效期覆盖管道运行时段。

2. 检查目标ADLS的权限

   • 目标ADLS的容器或动态目录，需给Databricks的身份主体分配Storage Blob Data Contributor角色；若使用ADLS Gen2的ACL权限，需给对应身份设置rwx（读、写、执行）的目录权限。

3. 确认Databricks的身份配置

   • 若ADF通过服务主体连接Databricks，确保该服务主体在Databricks workspace中能访问目标Delta表，且拥有存储读写权限。
   • 若使用托管标识连接，需确认托管标识已在Databricks中注册，且被授予存储访问权限。

4. 检查存储防火墙设置

   • 若暂存或目标存储开启了防火墙，要么将Databricks的IP段加入允许列表，要么在存储账户的防火墙设置中勾选“允许受信任的Microsoft服务访问此存储账户”。

内容的提问来源于stack exchange，提问作者user15532579