Azure Blob存储海量数据场景下Blob索引标签最优设置方案咨询

你提出的定期执行PowerShell脚本筛选增量Blob打索引标签的方案是可行的，但存在两个潜在缺陷：一是每次执行仍需遍历指定时间范围内的Blob，周增量较大时仍有额外开销；二是定时脚本存在漏跑、执行异常的风险，需要额外加错误监控机制。

如果采用该方案，可按以下逻辑编写脚本：

1. 先安装Azure PowerShell依赖模块：
   Install-Module -Name Az.Storage -Force -AllowClobber
2. 核心脚本逻辑如下：

# 连接Azure账户
Connect-AzAccount
# 基础配置项
$storageAccountName = "你的存储账户名"
$containerName = "你的目标容器名"
$resourceGroupName = "存储账户所属资源组名"
$lastRunTimeMarkerPath = "C:\blob_tag_last_run_time.txt" # 可将标记文件存在Blob中避免本地丢失

# 读取上次执行时间作为本次筛选的起始点
$lastRunTime = [DateTime](Get-Content $lastRunTimeMarkerPath)
$currentRunTime = Get-Date

# 获取存储账户上下文
$storageCtx = (Get-AzStorageAccount -Name $storageAccountName -ResourceGroupName $resourceGroupName).Context

# 分页筛选增量Blob，避免一次性加载过多数据导致内存溢出
$maxPageSize = 1000
$continuationToken = $null
do {
    $blobs = Get-AzStorageBlob -Container $containerName -Context $storageCtx -MaxCount $maxPageSize -ContinuationToken $continuationToken | Where-Object { $_.LastModified.UtcDateTime -ge $lastRunTime }
    $continuationToken = $blobs[$blobs.Count -1].ContinuationToken

    # 批量打索引标签
    foreach ($blob in $blobs) {
        $tags = @{
            LastModifiedTime = $blob.LastModified.UtcDateTime.ToString("yyyy-MM-dd HH:mm:ss")
        }
        Set-AzStorageBlobTag -Container $containerName -Blob $blob.Name -Tag $tags -Context $storageCtx
        # 每处理100个Blob加短暂延迟，避免触发限流
        if ($i % 100 -eq 0) {
            Start-Sleep -Milliseconds 50
        }
        $i++
    }
} while ($continuationToken -ne $null)

# 更新下次执行的时间标记
Set-Content -Path $lastRunTimeMarkerPath -Value $currentRunTime.ToString()

脚本编写完成后可通过Windows任务计划、Azure自动化账户配置每周定期执行即可。

• 存量40TB数据单独拆分处理：不要和增量任务混合执行，可按天/月拆分历史数据，每天处理一个时间切片的存量Blob，逐步完成全量打标，不需要追求短时间内跑完
• 按虚拟目录拆分并行任务：如果Blob有按业务/日期划分的虚拟目录，可拆分多个并行任务分别处理不同目录，控制单任务并发量不超过5，避免触发存储账户限流阈值
• 错峰执行：所有打标任务都放在业务低峰期运行，避免影响正常的存储读写请求

无需自己维护定时脚本，可通过Azure原生能力实现全自动增量打标，完全避免遍历Blob的开销：

• 配置Azure事件网格订阅存储账户的Microsoft.Storage.BlobCreated事件，只要有新Blob上传就自动触发通知
• 关联Azure函数作为事件消费端，函数内只需要写简单的打标签逻辑，新Blob上传后实时完成标签写入，不会出现遗漏，也不需要做任何遍历操作
• 存量40TB数据单独跑一次分批处理的脚本完成打标即可，后续增量全自动化运行
• 后续备份时直接调用Blob索引查询接口，查询语句为@container = '你的容器名' AND LastModifiedTime >= '一周前的时间'，秒级返回符合条件的Blob列表，完全不需要遍历全量Blob。

内容的提问来源于stack exchange，提问作者Jerry