使用Azure Function计算Azure Blob的MD5和SHA256时复用流的方法

问题背景 #

需要用Azure Function计算Azure Blob存储中文件的MD5和SHA256哈希值：

• 使用DownloadContent下载4GB以上大文件时会触发内存不足，升级配置成本过高
• 改用DownloadStreaming后，第一次计算哈希内存占用极低，但流耗尽后无法通过Position = 0重置，目前只能重新下载文件完成第二个哈希计算

当前代码 #

var sourceFile = await blobClient.DownloadStreamingAsync();
byte[] md5Result;
byte[] sha256Result;

using (var md5 = MD5.Create())
{
   md5Result = md5.ComputeHash(sourceFile.Value.Content);
}

sourceFile = await blobClient.DownloadStreamingAsync();
using (var sha256 = SHA256.Create())
{
   sha256Result = sha256.ComputeHash(sourceFile.Value.Content);
}

解决方案：单次下载流，同时计算双哈希 #

核心思路是分块读取流数据，同时喂给MD5和SHA256算法计算，无需重新下载或重置流，内存占用仅为缓冲区大小。

优化后代码

byte[] md5Result;
byte[] sha256Result;
// 缓冲区大小可根据Azure Function内存配置调整，推荐8KB-32KB
var bufferSize = 8192;

using (var md5 = MD5.Create())
using (var sha256 = SHA256.Create())
using (var stream = (await blobClient.DownloadStreamingAsync()).Value.Content)
{
    var buffer = new byte[bufferSize];
    int bytesRead;
    
    // 分块读取流，同时更新两个哈希的计算状态
    while ((bytesRead = await stream.ReadAsync(buffer, 0, buffer.Length)) > 0)
    {
        md5.TransformBlock(buffer, 0, bytesRead, buffer, 0);
        sha256.TransformBlock(buffer, 0, bytesRead, buffer, 0);
    }
    
    // 完成哈希计算
    md5.TransformFinalBlock(Array.Empty<byte>(), 0, 0);
    sha256.TransformFinalBlock(Array.Empty<byte>(), 0, 0);
    
    md5Result = md5.Hash;
    sha256Result = sha256.Hash;
}

关键说明 #

• 利用TransformBlock分块处理数据，避免一次性加载整个文件到内存，完美适配大文件场景
• 两个哈希算法共享同一份缓冲区，仅需一次Blob下载，节省带宽和时间
• 缓冲区大小可根据实际内存情况调整，平衡IO效率和内存占用
• 最后必须调用TransformFinalBlock完成哈希计算，才能获取正确的哈希值

内容的提问来源于stack exchange，提问作者Anon256