Azure跨订阅迁移ADLS容器及文件遇阻，求相关经验分享

• 优化AzCopy参数解决慢/报错问题
  之前做跨订阅迁移时也碰到过AzCopy超时、速度拖沓的情况，调整参数后效率提升明显：

  • 指定--blob-type BlockBlob，避免因Blob类型不兼容触发报错
  • 调高--parallel-level值（比如设为150，最高可到200，根据本地带宽调整），提升并发传输数
  • 大文件占比高时，把--chunk-size改成64MiB（默认4MiB），减少分块次数降低API调用开销
  • 权限报错就换服务主体身份执行，命令示例：

    azcopy copy "https://sourceaccount.blob.core.windows.net/mycontainer" "https://destaccount.blob.core.windows.net/mycontainer" --service-principal --application-id <app-id> --tenant-id <tenant-id> --secret <secret> --recursive --parallel-level 150 --chunk-size 64MiB
    

  • 中途中断不用怕，重新运行命令AzCopy会自动续传，无需从头开始

• Azure存储账户原生复制（批量迁移首选）
  这个原生方式比AzCopy更稳定，适合多容器批量迁移：

  1. 在目标订阅创建同区域的存储账户（跨区域会增加带宽成本，速度也受影响）
  2. 给源存储容器配置好访问权限：要么给目标账户分配Storage Blob Data Contributor角色，要么生成有效期足够的SAS令牌
  3. 进入目标存储账户的「数据复制」页面，选择源订阅、源存储账户，勾选要迁移的容器启动复制即可
     后台异步运行，Azure会自动优化带宽，不用占用本地资源，还能实时查看迁移进度，报错时会给出详细日志

• ADF迁移优化技巧
  之前用ADF慢主要是配置没到位：

  • 部署自托管集成运行时到与源/目标存储同区域的VM上，消除跨区域带宽瓶颈
  • 调整复制活动的「最大并发连接数」到100以上（根据存储账户吞吐量限制调整）
  • 采用批量复制模式，不要单个文件触发活动，减少调度开销

• 避坑要点

  • 迁移前确认源和目标存储的性能层级，高级存储吞吐量更高，迁移速度更快
  • 大量小文件（<1MiB）的话，先在源端打包成ZIP，迁移后再解压，能大幅减少API调用次数
  • 操作账户必须同时拥有源和目标存储的Storage Blob Data Contributor角色，只读权限会导致迁移失败

内容的提问来源于stack exchange，提问作者Lokesh