跨不同订阅的ADLS间文件与文件夹复制方法咨询

我之前也碰到过跨订阅Data Lake复制的棘手问题，结合你手里已经有双方Token和密钥的情况，给你几个亲测有效的方案：

方案一：Azure CLI 批量复制（快速高效） #

CLI支持同时操作多个订阅的资源，只要你能正确认证两个账户的权限，就能直接执行批量复制：

• 首先用账户密钥生成源Data Lake的SAS令牌（避免切换订阅的麻烦）：

  az storage account generate-sas --account-name <源存储账户名> --account-key <源账户密钥> --services d --resource-types c --permissions r --expiry <过期时间> --output tsv
  

• 然后执行批量复制命令，直接指定目标订阅的存储账户：

  az storage blob copy start-batch \
    --destination-container <目标容器名> \
    --destination-account-name <目标存储账户名> \
    --destination-account-key <目标账户密钥> \
    --source-account-name <源存储账户名> \
    --source-container <源容器名> \
    --source-sas-token "<刚才生成的SAS令牌>" \
    --recursive
  

这个方式不需要切换订阅，通过密钥和SAS直接完成跨账户认证，适合一次性批量复制场景。

方案二：Python脚本自定义复制（灵活可控） #

用azure-storage-file-datalake库可以分别初始化两个订阅的Data Lake客户端，完全自定义复制逻辑，能处理复杂的目录结构：

1. 先安装依赖：

   pip install azure-storage-file-datalake
   

2. 示例复制脚本：

   from azure.storage.filedatalake import DataLakeServiceClient
   from azure.core.credentials import AzureNamedKeyCredential
   
   # 初始化源Data Lake客户端（订阅A）
   src_cred = AzureNamedKeyCredential("<源存储账户名>", "<源账户密钥>")
   src_client = DataLakeServiceClient(
       account_url=f"https://<源存储账户名>.dfs.core.windows.net",
       credential=src_cred
   )
   
   # 初始化目标Data Lake客户端（订阅B）
   dest_cred = AzureNamedKeyCredential("<目标存储账户名>", "<目标账户密钥>")
   dest_client = DataLakeServiceClient(
       account_url=f"https://<目标存储账户名>.dfs.core.windows.net",
       credential=dest_cred
   )
   
   # 递归复制目录的函数
   def copy_dir(src_fs, dest_fs, src_dir, dest_dir):
       # 创建目标目录
       dest_fs.create_directory(dest_dir)
       # 遍历源目录下所有内容
       for path in src_fs.get_paths(src_dir, recursive=True):
           if path.is_directory:
               # 递归复制子目录
               sub_dest = f"{dest_dir}/{path.name.split('/')[-1]}"
               copy_dir(src_fs, dest_fs, path.name, sub_dest)
           else:
               # 复制单个文件
               src_file = src_fs.get_file_client(path.name)
               dest_file = dest_fs.get_file_client(f"{dest_dir}/{path.name.split('/')[-1]}")
               # 流式读写避免内存占用过高
               with src_file.download_file() as stream:
                   dest_file.upload_data(stream.read(), overwrite=True)
   
   # 执行复制（替换为你的文件系统和目录路径）
   src_fs = src_client.get_file_system_client("<源文件系统名>")
   dest_fs = dest_client.get_file_system_client("<目标文件系统名>")
   copy_dir(src_fs, dest_fs, "source-folder-path", "target-folder-path")
   

这个方案完全不受单订阅限制，两个客户端独立认证，适合需要自定义过滤、增量复制的场景。

方案三：修正Data Factory配置（自动化场景） #

你之前用Data Factory失败大概率是权限配置不到位，调整后就能正常工作：

• 给Data Factory的托管标识在源和目标Data Lake存储账户上都分配Storage Blob Data Contributor角色（必须是数据权限角色，不是管理权限）
• 在Data Factory中创建两个Linked Service：
  • 源Linked Service：选择Azure Data Lake Storage Gen2，用托管标识认证，选择源订阅和存储账户
  • 目标Linked Service：同样配置，选择目标订阅和存储账户
• 创建对应数据集，关联到各自的文件系统和目录
• 新建Copy Activity，源选源数据集，目标选目标数据集，开启「递归」复制选项

为什么你之前的方案失效？ #

• Hadoop的site-core.xml确实只能配置一个默认Data Lake实例，跨订阅无法同时加载两个账户的配置；
• ADLcopy失败可能是没有正确传入跨订阅的认证参数，或者权限不足；
• Data Factory的核心问题几乎都是权限，托管标识必须同时拥有两个Data Lake的读写权限才能完成复制。

内容的提问来源于stack exchange，提问作者FabioEnne