Azure Storage Blob容器增量同步问询：优化全量复制低效方案

老哥，全量删除再复制的操作确实太粗暴了，2万文件慢到离谱完全正常——毕竟每次都要重新传所有数据，还得先删一遍，纯纯的做无用功。我给你几个优化方案，都是Azure生态里常用的高效同步方式：

AzCopy是微软官方专门为Azure存储优化的传输工具，支持增量同步、断点续传、并行处理，速度比手动PowerShell快N倍，而且命令非常简洁。

核心命令示例 #

针对staging和development容器分别同步production的内容：

# 同步production到staging（保留目标中不存在的文件）
azcopy sync "https://<prod-storage-account>.blob.core.windows.net/prod-container?<prod-sas-token>" "https://<staging-storage-account>.blob.core.windows.net/staging-container?<staging-sas-token>" --recursive=true

# 同步production到development，同时删除目标中源已不存在的文件（完全对齐）
azcopy sync "https://<prod-storage-account>.blob.core.windows.net/prod-container?<prod-sas-token>" "https://<dev-storage-account>.blob.core.windows.net/dev-container?<dev-sas-token>" --recursive=true --delete-destination=true

关键参数说明 #

• --recursive=true：递归处理所有子目录的blob
• --delete-destination=true：可选参数，会删除目标容器中存在但源容器已删除的文件，确保完全和production一致
• --log-level=INFO：可以查看同步日志，方便排查问题
• 关于SAS Token：如果不想用账户密钥，生成有读写权限的SAS Token更安全，有效期可以按需设置

如果坚持要用PowerShell实现，核心思路是只同步变化的文件，而不是全量覆盖。通过对比blob的修改时间和存在性，只处理新增、更新、删除的内容。

示例脚本 #

# 初始化存储上下文（建议用SAS Token或Managed Identity替代密钥，更安全）
$prodAccountName = "your-prod-storage-account"
$prodContainerName = "production"
$stagingAccountName = "your-staging-storage-account"
$stagingContainerName = "staging"
$devAccountName = "your-dev-storage-account"
$devContainerName = "development"

$prodContext = New-AzStorageContext -StorageAccountName $prodAccountName -StorageAccountKey "<prod-account-key>"
$stagingContext = New-AzStorageContext -StorageAccountName $stagingAccountName -StorageAccountKey "<staging-account-key>"
$devContext = New-AzStorageContext -StorageAccountName $devAccountName -StorageAccountKey "<dev-account-key>"

# 定义同步函数，复用逻辑
function Sync-StorageContainer {
    param(
        $SourceContext,
        $SourceContainer,
        $DestContext,
        $DestContainer
    )

    # 获取源和目标的所有blob列表
    $sourceBlobs = Get-AzStorageBlob -Container $SourceContainer -Context $SourceContext -Recursive
    $destBlobs = Get-AzStorageBlob -Container $DestContainer -Context $DestContext -Recursive

    # 同步新增/更新的blob
    foreach ($sourceBlob in $sourceBlobs) {
        $destBlob = $destBlobs | Where-Object { $_.Name -eq $sourceBlob.Name }
        # 如果目标没有该blob，或者目标blob比源旧，就同步
        if (-not $destBlob -or $destBlob.LastModified -lt $sourceBlob.LastModified) {
            Write-Host "Syncing blob: $($sourceBlob.Name)"
            $copyTask = Start-AzStorageBlobCopy -SrcBlob $sourceBlob.Name `
                -SrcContainer $SourceContainer -Context $SourceContext `
                -DestBlob $sourceBlob.Name -DestContainer $DestContainer -DestContext $DestContext
            # 等待复制完成（可选，若不需要实时等待可去掉）
            while (($copyState = Get-AzStorageBlobCopyState -Blob $sourceBlob.Name -Container $DestContainer -Context $DestContext).Status -eq "Pending") {
                Start-Sleep -Seconds 3
            }
        }
    }

    # 删除目标中多余的blob（源已不存在的）
    foreach ($destBlob in $destBlobs) {
        if (-not ($sourceBlobs | Where-Object { $_.Name -eq $destBlob.Name })) {
            Write-Host "Deleting extra blob: $($destBlob.Name)"
            Remove-AzStorageBlob -Blob $destBlob.Name -Container $DestContainer -Context $DestContext -Force
        }
    }
}

# 执行同步
Sync-StorageContainer -SourceContext $prodContext -SourceContainer $prodContainerName -DestContext $stagingContext -DestContainer $stagingContainerName
Sync-StorageContainer -SourceContext $prodContext -SourceContainer $prodContainerName -DestContext $devContext -DestContainer $devContainerName

优化点 #

• 用ForEach-Object -Parallel替代普通foreach，实现并行同步，大幅提升速度（PowerShell 7+支持）
• 优先用Managed Identity或SAS Token替代存储账户密钥，提升安全性
• 可以跳过等待复制完成的逻辑，让复制在后台异步执行，适合大文件场景

要实现每日/每周自动同步，推荐用Azure Automation Runbook：

• 在Azure Portal创建Automation账户，导入Az模块（Az.Storage）
• 将AzCopy命令或PowerShell脚本上传为Runbook
• 设置触发器（每日/每周指定时间），让系统自动执行

如果是本地运行脚本，也可以用Windows Task Scheduler，但Azure Automation更适合云环境，无需维护本地机器。

内容的提问来源于stack exchange，提问作者Kevin Denham