如何通过Azure YAML流水线将私有S3存储桶数据复制到Azure Blob存储

方案1：直接在Azure YAML流水线中运行AZCopy #

AZCopy完全可以在Azure DevOps YAML流水线中运行，微软托管的默认代理（Ubuntu/Windows镜像）已经预装了AZCopy v10，不需要额外安装，具体配置方法如下：

• 首先配置流水线定时触发，每月初自动运行，在YAML头部添加调度配置：

schedules:
- cron: "0 0 1 * *"
  displayName: 每月1号零点同步
  branches:
    include:
    - main
  always: true

• 提前在Azure DevOps项目的「管道-库」中创建变量组，存储敏感信息：AWS访问密钥、AWS秘密访问密钥、Azure Blob存储SAS令牌，所有变量勾选「保密」选项，避免明文泄露。
• 配置执行任务，示例YAML如下（以Linux代理为例）：

pool:
  vmImage: ubuntu-latest

variables:
- group: s3_to_blob_sync_vars # 引用你创建的变量组

steps:
- task: Bash@3
  displayName: 执行AZCopy同步S3新文件到Blob
  inputs:
    targetType: 'inline'
    script: |
      azcopy copy "https://${S3_BUCKET}.s3.${AWS_REGION}.amazonaws.com/${FILE_PREFIX}" "https://${STORAGE_ACCOUNT}.blob.core.windows.net/${CONTAINER_NAME}/${DEST_PATH}/?${SAS_TOKEN}" --recursive --overwrite=ifSourceNewer --include-pattern="*.csv"
  env:
    AWS_ACCESS_KEY_ID: $(aws_access_key) # 引用变量组中的保密变量
    AWS_SECRET_ACCESS_KEY: $(aws_secret_key)
    S3_BUCKET: $(s3_bucket_name)
    AWS_REGION: $(aws_region)
    STORAGE_ACCOUNT: $(azure_storage_account)
    CONTAINER_NAME: $(azure_container_name)
    DEST_PATH: $(azure_dest_path)
    SAS_TOKEN: $(azure_blob_sas_token)

--include-pattern="*.csv"参数只会同步CSV文件，--overwrite=ifSourceNewer只会同步更新的新文件，避免重复传输。

方案2：更简便的低代码实现方式 #

如果不想维护脚本和流水线，可以选择以下不需要写代码的方案，配置更简单，运维成本更低：

• Azure Data Factory(ADF) 增量复制管道：ADF自带AWS S3和Azure Blob存储的官方连接器，只需可视化配置源和目标，添加「增量复制」规则只同步上月新增的CSV文件，配置每月初的定时触发即可，自动处理异常重试、日志记录，不需要维护脚本。
• Azure Logic Apps：同样有预制的S3和Blob连接器，拖拽配置同步逻辑，设置每月定时触发，适合业务规则可能变动的场景，可灵活添加通知、异常告警等逻辑。

内容的提问来源于stack exchange，提问作者Auto geek