Azure ADF从Microsoft 365到存储账户的复制活动失败排查求助

我在使用Azure Data Factory（ADF）的复制数据管道时持续遇到资源访问与权限错误：

• 源：Microsoft 365 Table连接器（从组织邮件提取部分列）
• 目标：存储账户（SA），已配置足够IAM权限允许写入，且存储账户公网访问设为仅允许选定虚拟网络和IP地址

尝试过程与错误 #

1. 首次尝试：通过ADF系统分配托管标识配置存储账户访问，管道运行失败，提示Microsoft 365连接器无法使用该标识。
2. 第二次尝试：使用ADF私有链接（PE）访问存储账户，完成配置后：
   • 服务端点设为存储账户dfs URL时，报错：

     "ErrorCode=UserErrorOffice365DataLoaderError,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Office365 data loading failed to execute. office365LoadErrorType: PermanentError ...Failure happened on 'Sink' side. ErrorCode=AdlsGen2ForbiddenError"
     

   • 服务端点设为存储账户blob URL时，报错：

     "the remote server return an error: (403) .... Unable to create Azure blob container"
     

补充测试 #

禁用存储账户公网访问后结果一致，推测运行时已通过私有端点访问但因配置或功能问题失败；而存储账户间复制的PE配置管道可成功运行。

请问问题根源是什么？如何解决？

核心问题根源 #

1. Microsoft 365连接器数据流模式限制：该连接器采用服务侧推送模式，由Microsoft 365服务直接将数据写入目标存储账户，而非ADF运行时拉取数据后写入。这种模式下无法复用ADF系统分配托管标识进行存储账户身份验证，导致首次尝试失败。
2. 私有链接访问范围限制：ADF私有链接仅允许ADF运行时访问存储账户，但Microsoft 365服务不在你的虚拟网络内，无法通过ADF私有链接路由到存储账户私有端点，因此即使配置PE也无法正常访问。
3. 身份验证上下文不匹配：使用blob端点时，Microsoft 365服务发起写入请求的身份并非你配置的有权限身份，导致无法创建容器触发403错误。

具体解决方案 #

方案1：启用存储账户受信任服务豁免（推荐） #

1. 进入目标存储账户的防火墙和虚拟网络设置页面。
2. 在“例外”区域勾选允许受信任的Microsoft服务访问此存储账户选项，该设置会让Microsoft 365绕过防火墙限制直接访问存储账户。
3. 保留存储账户公网访问限制为“仅允许选定虚拟网络和IP地址”。
4. 在ADF存储账户接收器配置中，选择账户密钥或服务主体身份验证，确保所用身份拥有存储账户的Storage Blob Data Contributor权限。

方案2：用Azure Key Vault存储密钥供ADF访问 #

1. 在Azure Key Vault中存储目标存储账户的访问密钥。
2. 为ADF系统分配托管标识授予Key Vault的Secret User角色权限，允许ADF读取密钥。
3. 在ADF存储账户接收器中选择账户密钥身份验证，通过Key Vault引用存储账户密钥。
4. 在存储账户防火墙设置中添加ADF托管虚拟网络的出站IP地址（可在ADF“托管虚拟网络”页面获取），确保ADF运行时可访问存储账户。

方案3：部署自托管集成运行时 #

1. 在你的虚拟网络内部署自托管集成运行时（IR），确保该IR可通过私有端点访问存储账户。
2. 在复制管道中指定使用该自托管IR，此时数据流改为由自托管IR从Microsoft 365拉取数据后写入存储账户。
3. 配置存储账户接收器时，可使用ADF系统分配托管标识或账户密钥身份验证，确保身份拥有对应权限。

内容的提问来源于stack exchange，提问作者Yonatan Shlain