如何让AzCopy仅删除已成功复制的Azure Blob文件？

环境信息 #

• AzCopy版本：10.4.3
• 操作系统：Windows Server 2019 Datacenter 64位

核心思路 #

放弃直接通过通配符删除的方式，改为先记录复制成功的文件清单，再基于清单精准删除对应Blob，同时可搭配哈希校验确保文件完整性。

方案一：基于复制日志提取成功文件（高效） #

1. 带日志执行复制命令 #

执行复制时指定日志路径和详细日志级别，方便后续提取成功记录：

azcopy copy "!azure_server!/container/!azure_key!" "!local_destination_path!" ^
--include-pattern="!file_filter!" ^
--recursive=true ^
--log-level=INFO ^
--log-path="copy_success.log"

# 检查复制是否成功，失败则终止
if %errorlevel% neq 0 (
    echo 复制操作失败，终止后续删除流程
    exit /b 1
)

2. 从日志提取成功复制的Blob路径 #

AzCopy日志中，成功下载的条目会包含DOWNLOAD SUCCESSFUL，通过findstr筛选并拼接完整Blob路径，保存到清单文件：

:: 清空旧的清单文件
if exist success_blobs.txt del success_blobs.txt

:: 提取成功文件的相对路径，拼接成完整Blob地址后写入清单
for /f "tokens=4" %%i in ('findstr /C:"DOWNLOAD SUCCESSFUL" copy_success.log') do (
    echo "!azure_server!/container/!azure_key!/%%i" >> success_blobs.txt
)

3. 基于清单删除指定Blob #

使用AzCopy的--list-of-files参数，仅删除清单中记录的文件：

azcopy rm "!azure_server!/container/!azure_key!" ^
--list-of-files="success_blobs.txt" ^
--recursive=true

方案二：哈希校验后删除（严谨，确保文件完整性） #

如果需要确保本地文件与Blob完全一致，可通过MD5哈希对比后再删除：

1. 执行复制并检查结果 #

同方案第一步，先完成复制并确认成功。

2. 生成本地文件的哈希与文件名清单 #

遍历本地文件，计算MD5哈希并分别记录文件名和哈希值：

:: 清空旧文件
if exist local_hashes.txt del local_hashes.txt
if exist filenames.txt del filenames.txt

:: 遍历本地匹配文件，生成哈希和文件名清单
for /r "!local_destination_path!" %%f in (!file_filter!) do (
    :: 提取MD5哈希（去除无关行和空格）
    certutil -hashfile "%%f" MD5 | findstr /v "hash" | findstr /v "CertUtil" | tr -d " " >> local_hashes.txt
    :: 记录文件名
    echo "%%~nxf" >> filenames.txt
)

3. 获取Blob列表并对比哈希 #

用PowerShell解析AzCopy导出的Blob列表JSON，对比本地哈希与Blob的ContentMD5值，生成匹配的Blob清单：

# 导出Blob列表为JSON
azcopy list "!azure_server!/container/!azure_key!" ^
--include-pattern="!file_filter!" ^
--recursive=true ^
--output-type=json > blob_list.json

# 解析JSON并对比哈希
$blobList = Get-Content "blob_list.json" | ConvertFrom-Json
$localFiles = Get-Content "filenames.txt" | ForEach-Object { $_.Trim('"') }
$localHashes = Get-Content "local_hashes.txt" | ForEach-Object { $_.Trim() }

$matchBlobs = @()
for ($i=0; $i -lt $localFiles.Count; $i++) {
    $targetFile = $localFiles[$i]
    $targetHash = $localHashes[$i]
    $matchedBlob = $blobList | Where-Object { 
        $_.Name -eq $targetFile -and $_.ContentMD5 -eq $targetHash 
    }
    if ($matchedBlob) {
        $matchBlobs += "!azure_server!/container/!azure_key!/$($matchedBlob.Name)"
    }
}

# 写入匹配的Blob清单
$matchBlobs | Out-File -FilePath "match_blobs.txt" -Encoding utf8

4. 基于匹配清单删除Blob #

azcopy rm "!azure_server!/container/!azure_key!" ^
--list-of-files="match_blobs.txt"

注意事项 #

• 确保日志和清单文件的存储路径有读写权限
• 若文件名包含特殊字符，需调整findstr或PowerShell的字符串处理逻辑
• 复制命令的%errorlevel%返回0表示全量成功，若需容忍部分失败，需自行调整日志筛选逻辑

内容的提问来源于stack exchange，提问作者user22108330