Get-AzStorageBlob读取百万级Blob容器时常挂起问题求助

针对读取300万+Blob时分批调用仍挂起的问题，核心原因集中在内存累积管理、ContinuationToken获取错误和超时/重试策略配置不当几点，以下是具体解决方案：

1. 避免内存累积，改用流式分批处理 #

原代码中$blobs +=会持续将所有Blob对象存入内存，当数量达到50万+时，内存占用急剧攀升，导致PowerShell进程无响应。正确做法是每批读取后立即处理，不保留全量Blob对象。

2. 修正ContinuationToken的获取方式 #

当前从最后一个Blob对象提取ContinuationToken的方式错误，应直接从Get-AzStorageBlob的返回结果中获取ContinuationToken属性。

3. 优化超时与重试策略 #

Az模块内置重试机制，显式配置重试策略并调整超时参数，可有效避免无响应情况，同时增加每批处理后的内存回收步骤。

修改后的示例代码 #

function ScanBlobBatch {
    param(
        [string]$sourceContainer,
        [Microsoft.Azure.Commands.Common.Authentication.Abstractions.IStorageContext]$ctxSource
    )

    $token = $null
    $maxReturn = 5000
    $maxRetries = 5 # 适当提高重试次数
    $retryDelay = 3
    $totalProcessed = 0

    do {
        $retryCount = 0
        $success = $false
        $currentBatch = $null

        do {
            try {
                # 单独存储当前批次结果，避免累积全量数据
                $currentBatch = Get-AzStorageBlob -Container $sourceContainer `
                    -Context $ctxSource `
                    -MaxCount $maxReturn `
                    -ContinuationToken $token `
                    -ServerTimeoutPerRequest 30 ` # 延长服务端超时适配大批次
                    -ClientTimeoutPerRequest 60 ` # 客户端超时覆盖整个请求周期
                    -RetryPolicyType Exponential # 使用指数退避重试策略

                $batchCount = $currentBatch.Count
                $totalProcessed += $batchCount
                Write-Host "当前批次读取 $batchCount 个Blob，累计处理: $totalProcessed"
                
                # 在这里添加当前批次的处理逻辑（比如写入文件、统计等）
                # ProcessCurrentBatch -Blobs $currentBatch

                $token = $currentBatch.ContinuationToken # 正确获取续传令牌
                $success = $true
            }
            catch {
                $retryCount++
                Write-Warning "第 $retryCount 次重试读取失败，错误: $_"
                if ($retryCount -lt $maxRetries) {
                    # 指数退避重试，间隔逐步延长
                    Start-Sleep -Seconds ($retryDelay * [Math]::Pow(2, $retryCount - 1))
                }
                else {
                    Write-Error "重试次数耗尽，读取终止"
                    exit 1
                }
            }
        } while (-not $success -and $retryCount -lt $maxRetries)

        # 强制回收当前批次内存，释放资源
        Remove-Variable currentBatch -Force
        [GC]::Collect()

        Start-Sleep -Seconds 1
    } while ($null -ne $token)
}

关键修改说明 #

• 内存管理：不再累积全量Blob对象，每批处理后立即释放内存并触发垃圾回收
• 续传令牌修正：直接从$currentBatch.ContinuationToken获取正确的分页令牌
• 超时与重试优化：延长超时时间，使用指数退避重试策略，提升大数量场景稳定性
• 批量处理逻辑：预留当前批次处理入口，避免全量数据驻留内存

额外建议 #

• 若需统计全量Blob数量，可在每批处理时累加计数，无需存储所有对象
• 检查Azure存储账户性能层级，标准层级账户处理超大量Blob时，可适当调整请求频率
• 升级至Az.Storage模块最新版本，旧版本可能存在分页相关Bug

内容的提问来源于stack exchange，提问作者user1657666