如何将Azure Data Factory连接到Azure Data Lake Storage Gen2存储

前置准备 #

• 已创建好的ADLS Gen2存储账户，创建时必须勾选「启用分层命名空间」选项，这是ADLS Gen2的核心标识，未勾选的账户属于普通Blob存储，无法使用ADLS Gen2专属功能
• 持有ADF实例的所有者/参与者权限，以及ADLS Gen2存储账户的对应访问权限（至少匹配你操作需求的存储Blob数据类角色，如读取者/写入者/参与者）

配置步骤（ADF Studio界面操作） #

步骤1：进入链接服务创建界面 #

• 打开ADF Studio（Azure Data Factory Web管理端），在左侧菜单栏找到「管理」选项，点击进入后选择「链接服务」，点击「+ 新建」
• 在搜索框输入Azure Data Lake Storage Gen2，选中对应连接器后点击「继续」

步骤2：填写基础连接信息 #

按页面提示填写核心参数：

• 名称：自定义链接服务的标识名，仅支持字母、数字、下划线，长度不超过260字符
• 集成运行时：默认使用AutoResolveIntegrationRuntime即可，如果对接的是虚拟网络内的ADLS Gen2，需要选择对应部署的自托管集成运行时
• 账户选择方式：可手动输入存储账户名称，也可从下拉列表直接选择同租户下的现有存储账户
• 文件系统：可选填，若固定对接ADLS Gen2下的某一个容器可提前填写，也可后续在数据集配置中动态指定

步骤3：选择身份验证方式完成配置 #

ADF对接ADLS Gen2支持4种常用身份验证方式，按需选择即可：

方式1：账户密钥验证（适合测试场景，不推荐生产使用）

• 身份验证类型选择「帐户密钥」
• 存储账户密钥可从ADLS Gen2存储账户的「访问密钥」页面复制，粘贴到对应输入框即可
• 点击「测试连接」，提示连接成功后点击「创建」

方式2：系统分配托管身份验证（推荐生产环境使用，无需手动维护密钥）

• 先给ADF实例的系统分配托管身份授权：进入ADLS Gen2存储账户的「访问控制(IAM)」页面，添加角色分配，选择匹配需求的角色（如存储Blob数据参与者），被分配人搜索你的ADF实例名称，完成权限分配后等待1-2分钟生效
• 回到ADF链接服务配置页面，身份验证类型选择「系统分配的托管标识」
• 测试连接成功后点击创建即可

方式3：用户分配托管身份验证（适合多资源权限隔离场景）

• 提前创建用户分配托管身份，给它授予ADLS Gen2的对应访问权限，同时将该托管身份分配给你的ADF实例
• 身份验证类型选择「用户分配的托管标识」，选中提前创建好的对应托管身份即可

方式4：SAS URI验证（适合临时授权场景）

• 从ADLS Gen2存储账户的「共享访问签名」页面生成对应权限、有效期的SAS令牌，拼接为SAS URI
• 身份验证类型选择「SAS URI」，粘贴生成的URI即可

对接有效性验证 #

创建完链接服务后，新建ADLS Gen2类型的数据集，选择刚创建的链接服务，尝试浏览ADLS Gen2下的文件，能正常读取目录/文件内容即说明对接成功。

常见问题排查 #

若测试连接报权限错误，优先排查以下几点：

• ADLS Gen2存储账户的防火墙是否允许ADF访问，若开启了防火墙需要将ADF对应区域的服务IP添加到白名单，或启用「信任 Azure 服务」选项
• 身份对应的角色权限是否正确，不要仅配置管理层面的参与者权限，必须授予存储Blob数据相关的数权角色
• 若使用托管身份，权限分配后需要等待2-3分钟再测试，权限生效存在延迟

内容的提问来源于stack exchange，提问作者Ramky