数TB级Azure File Storage到GCP Storage的数据迁移最优方案咨询

• Rclone 直传方案
  这是当前操作成本最低的方案，Rclone 原生同时支持 Azure File Storage 和 GCP Storage 接口对接，不需要中转存储，直接走两端API完成跨云传输，自带断点续传、多线程并发、传输校验能力，完全适配数TB级的海量数据场景。
  操作步骤非常简单：
  1. 运行rclone config命令，分别添加Azure File（类型选azurefiles）和GCP Storage（类型选google cloud storage）的访问凭证
  2. 用rclone lsf 你配置的Azure端remote名:共享目录名测试读取权限，用rclone lsf 你配置的GCP端remote名:存储桶名测试写入权限
  3. 权限验证通过后直接执行传输命令：rclone copy Azure端remote名:源路径 GCP端remote名:目标路径 -P --transfers 16，其中-P会显示实时传输进度，--transfers可以根据带宽情况调整并发数
• 云内中转VM同步方案
  如果公网直传稳定性不足，可以在靠近源存储和目标存储的区域申请一台临时高带宽VM，优先选同区域的跨云连通线路，带宽开到10Gbps以上即可。
  操作流程：
  1. 在VM内将Azure File Storage通过SMB协议挂载为本地目录
  2. 用gcsfuse工具将GCP Storage也挂载为同VM内的另一个本地目录
  3. 直接用rsync -avzP /Azure挂载目录路径/ /GCS挂载目录路径/执行同步，rsync自带增量同步、断点续传能力，传输完成后校验文件一致性即可销毁临时VM，额外成本极低
• 离线物理传输方案
  如果数据量超过10TB、公网带宽不足，或者有合规要求不能走公网传输，可以选择两家云厂商的离线物理介质传输服务：先申请Azure Data Box磁盘，将Azure File的数据全量导出到磁盘后寄送到GCP机房，通过GCP Import Appliance服务直接将磁盘数据导入GCS即可，全程按照官方向导操作即可，不需要额外开发。

小提示：正式传输全量数据前，建议先选少量样本文件传输后做哈希值校验，确认传输正确性后再跑全量任务，避免后期返工。

内容的提问来源于stack exchange，提问作者Kivas