Gcloud Storage Transfer服务传输缓慢，求原因及提速方案

我使用gcloud CLI执行跨云存储传输，命令如下：

gcloud transfer jobs create https://<azure resource>.blob.core.windows.net/container/6g/  gs://<storage bucket>/ --source-creds-file=D:\azureCred.json

单文件传输耗时对比：

gcloud Storage Transfer服务传输速度极慢，但Azcopy反向传输速度很快，需要分析原因及提速措施。

• 传输架构差异：gcloud Transfer Service是GCP托管的云端服务，传输路径需经过GCP中转节点；而Azcopy是本地客户端直接与两端存储服务建立连接，减少了中转环节的延迟与带宽损耗。
• 默认并行度配置偏低：gcloud Transfer的默认并发任务数较少，大文件传输时无法充分利用带宽；Azcopy默认启用高并发分段传输，能最大化带宽利用率。
• 源端访问限流：Azure Blob可能对GCP Transfer服务的访问请求施加了速率限制，而Azcopy客户端的请求模式更适配Azure的带宽管控策略，不易触发限流。
• 文件分段策略不合理：gcloud Transfer对大文件的分段大小默认设置较小，导致频繁的请求交互，降低传输效率；Azcopy的分段机制针对大文件做了优化，减少了交互开销。

• 调整并行传输参数：通过--parallelism参数提高并发任务数，例如：

  gcloud transfer jobs create https://<azure resource>.blob.core.windows.net/container/6g/  gs://<storage bucket>/ --source-creds-file=D:\azureCred.json --parallelism=32
  

  注意：并行数不宜过高，避免触发Azure或GCP的限流机制，可根据实际带宽逐步调整。
• 优化大文件分段大小：针对大文件设置更大的分段尺寸，减少请求次数，例如：

  gcloud transfer jobs create https://<azure resource>.blob.core.windows.net/container/6g/  gs://<storage bucket>/ --source-creds-file=D:\azureCred.json --chunk-size=64MiB
  

• 排查源端限流问题：检查Azure Blob容器是否设置了带宽限制，确认GCP Transfer使用的账号在Azure侧的访问配额，必要时联系Azure调整限流规则。
• 改用客户端直接传输：若无需托管式任务，使用gcloud storage cp命令替代，该命令采用本地客户端传输模式，与Azcopy逻辑更接近：

  gcloud storage cp --recursive --parallelism=32 https://<azure resource>.blob.core.windows.net/container/6g/* gs://<storage bucket>/
  

• 启用GCP网络优化选项：如果两端存储支持，开启服务网络传输与快速故障转移，优化传输路径：

  gcloud transfer jobs create https://<azure resource>.blob.core.windows.net/container/6g/  gs://<storage bucket>/ --source-creds-file=D:\azureCred.json --use-service-network --enable-fast-failover
  

内容的提问来源于stack exchange，提问作者ONE