如何验证Azure Blob分块上传的PDF文件块顺序及完整性？

一、确保块顺序正确 #

Azure Blob的块拼接完全由提交时指定的块ID顺序决定，所以提交阶段必须严格按文件拆分的先后顺序传入块ID列表。额外的验证手段可以从两方面入手：

• 上传每个块时，记录块的索引、块ID和对应的哈希值（比如MD5或SHA256），存在本地内存或临时文件中。
• 提交块列表后，调用GetBlockListAsync方法获取Blob的已提交块列表，对比返回的块ID顺序和本地记录是否一致，同时验证每个块的哈希值（Azure会返回块的ContentHash）是否匹配本地计算结果。

示例代码片段：

// 上传块时记录块信息
var blockInfos = new List<BlockInfo>();
using var semaphore = new SemaphoreSlim(5); // 控制并发数

foreach (var chunk in fileChunks)
{
    await semaphore.WaitAsync();
    try
    {
        // 用块索引生成唯一块ID（确保排序时不会乱序）
        var blockId = Convert.ToBase64String(BitConverter.GetBytes(chunk.Index));
        var md5Hash = ComputeMD5(chunk.Data);
        
        await blobClient.StageBlockAsync(blockId, new MemoryStream(chunk.Data), null);
        blockInfos.Add(new BlockInfo { Index = chunk.Index, BlockId = blockId, MD5 = md5Hash });
    }
    finally
    {
        semaphore.Release();
    }
}

// 提交块列表（必须按索引排序）
var orderedBlockList = blockInfos
    .OrderBy(b => b.Index)
    .Select(b => new BlockListItem(b.BlockId, BlockListType.Latest))
    .ToList();
await blobClient.CommitBlockListAsync(orderedBlockList);

// 验证块顺序与哈希
var committedBlocks = await blobClient.GetBlockListAsync(BlockListType.Committed);
var localOrderedIds = orderedBlockList.Select(b => b.Name).ToList();
var remoteIds = committedBlocks.Value.Select(b => b.Name).ToList();

if (!localOrderedIds.SequenceEqual(remoteIds))
{
    throw new InvalidOperationException("块顺序不匹配");
}

foreach (var remoteBlock in committedBlocks.Value)
{
    var localBlock = blockInfos.First(b => b.BlockId == remoteBlock.Name);
    if (remoteBlock.ContentHash != localBlock.MD5)
    {
        throw new InvalidOperationException($"块 {remoteBlock.Name} 数据损坏");
    }
}

// 辅助方法：计算字节数组的MD5哈希
string ComputeMD5(byte[] data)
{
    using var md5 = MD5.Create();
    return Convert.ToBase64String(md5.ComputeHash(data));
}

// 存储块信息的实体类
class BlockInfo
{
    public int Index { get; set; }
    public string BlockId { get; set; }
    public string MD5 { get; set; }
}

二、验证PDF文件完整性（含内容缺失检测） #

仅对比文件整体哈希只能发现完全不一致的情况，无法检测“文件结构完整但部分页面缺失”这类问题，需要针对PDF格式做内容级验证：

1. 基础校验：对比本地文件和云端Blob的大小，必须完全一致。
2. PDF结构校验：使用PDF处理库（如iTextSharp、PdfSharp）解析本地和云端文件，对比核心信息：
   • 总页数是否一致
   • 文档元数据（标题、作者、创建日期等）是否匹配
3. 内容级校验：
   • 提取每页的文本内容，计算哈希值后逐页对比
   • 尝试完整加载云端PDF，检查是否存在解析错误（比如缺失页面、损坏的对象）

示例代码片段（以iTextSharp为例）：

// 下载云端Blob到内存流
using var remoteStream = new MemoryStream();
await blobClient.DownloadToAsync(remoteStream);
remoteStream.Position = 0;

// 本地文件流
using var localStream = File.OpenRead(localFilePath);

// 对比文件大小
if (remoteStream.Length != localStream.Length)
{
    throw new InvalidOperationException("文件大小不匹配");
}

// 解析PDF对比页数
using var localReader = new iTextSharp.text.pdf.PdfReader(localStream);
using var remoteReader = new iTextSharp.text.pdf.PdfReader(remoteStream);

if (localReader.NumberOfPages != remoteReader.NumberOfPages)
{
    throw new InvalidOperationException($"页数不匹配：本地 {localReader.NumberOfPages}，云端 {remoteReader.NumberOfPages}");
}

// 逐页对比文本哈希
for (int pageNum = 1; pageNum <= localReader.NumberOfPages; pageNum++)
{
    var localPageText = iTextSharp.text.pdf.parser.PdfTextExtractor.GetTextFromPage(localReader, pageNum);
    var remotePageText = iTextSharp.text.pdf.parser.PdfTextExtractor.GetTextFromPage(remoteReader, pageNum);
    
    if (ComputeSHA256(localPageText) != ComputeSHA256(remotePageText))
    {
        throw new InvalidOperationException($"第 {pageNum} 页内容不匹配");
    }
}

// 辅助方法：计算字符串的SHA256哈希
string ComputeSHA256(string text)
{
    using var sha256 = SHA256.Create();
    var bytes = Encoding.UTF8.GetBytes(text);
    return Convert.ToBase64String(sha256.ComputeHash(bytes));
}

三、额外实用建议 #

• 块大小尽量设置为4MB~100MB（Azure推荐范围），过小的块会增加管理成本。
• 上传失败时，可通过GetBlockListAsync(BlockListType.Uncommitted)获取未提交的块，避免重复上传已成功的块。
• 超大型PDF可采用抽样校验（比如前3页、中间随机页、最后3页），平衡验证效率和准确性。

内容的提问来源于stack exchange，提问作者Learner