咨询：借助GCS Transfer Service能否用单个任务迁移Azure Blob多文件夹到GCS

可以用单个任务完成这10个Azure Blob文件夹到GCS对应文件夹的每日定期迁移，无需创建10个独立任务，具体实现分两种常见方案：

基于Google Cloud Storage Transfer Service的配置方案 #

• 配置迁移任务时，在Azure Blob源设置中，指定多个源路径前缀（对应你要同步的10个嵌套文件夹），比如container/folder1/、container/folder2/等，每个前缀对应一个目标文件夹
• 目标GCS存储桶保持与Azure一致的路径结构，Transfer Service会自动将每个源前缀下的文件同步到GCS的对应路径中
• 开启每日定期调度，设置好同步频率和时间窗口即可

基于脚本+Cloud Scheduler的自定义方案 #

• 编写Shell或Python脚本，在脚本中循环遍历10个文件夹路径，依次调用同步命令完成增量迁移。以gsutil rsync为例，脚本片段如下：

  # 定义需同步的文件夹列表
  FOLDERS=("folder1" "folder2" "folder3" ... "folder10")
  AZURE_CONTAINER="你的Azure容器名"
  GCS_BUCKET="你的GCS存储桶名"
  
  for FOLDER in "${FOLDERS[@]}"; do
    gsutil rsync -r "azure://$AZURE_CONTAINER/$FOLDER" "gs://$GCS_BUCKET/$FOLDER"
  done
  

• 将脚本部署到Cloud Functions或Compute Engine实例，再通过Cloud Scheduler设置每日触发任务，执行该脚本即可

两种方案都能通过单个任务实现多文件夹的同步，同时保留原有的路径映射关系，满足每日增量迁移的需求。

内容的提问来源于stack exchange，提问作者Berra