Azure Storage Blobs .NET客户端库：如何单独配置块大小与缓冲区大小？

当前Azure.Storage.Blobs库的AppendBlobOpenWriteOptions.BufferSize确实同时控制客户端写入缓冲区和实际追加的块大小，没有直接提供分离配置的选项。要实现小缓冲区减少崩溃数据丢失+4MB默认块大小避免数量超限的需求，可以通过手动管理块提交的方式实现：

• 自定义双层缓冲区逻辑：

  1. 维护一个小的客户端缓冲区（比如1024字节/1KB），用于接收应用的写入请求，确保数据能被快速暂存，减少内存中未处理的数据量。
  2. 当小缓冲区的数据积累到一定量后，写入到一个4 * 1024 * 1024字节（4MB）的大缓冲区中；当大缓冲区被填满时，调用AppendBlobClient.AppendBlockAsync()提交这个4MB的块到Azure存储。
  3. 增加定期刷新逻辑：设置一个定时器（比如每1-2秒），将大缓冲区中已有的数据（即使不满4MB）主动提交为块，进一步降低崩溃时的数据丢失风险。
  4. 在应用正常退出时，务必提交大缓冲区中剩余的所有数据。

• 示例代码片段：

// 配置参数
int smallBufferSize = 1024; // 1KB小缓冲区
int blockSize = 4 * 1024 * 1024; // 4MB块大小
var largeBuffer = new MemoryStream(blockSize);
var smallBuffer = new byte[smallBufferSize];
int bytesRead;
DateTime lastFlushTime = DateTime.Now;

// 模拟应用写入（替换为实际数据流）
using (var inputStream = new FileStream("input.txt", FileMode.Open))
{
    while ((bytesRead = inputStream.Read(smallBuffer, 0, smallBufferSize)) > 0)
    {
        largeBuffer.Write(smallBuffer, 0, bytesRead);
        
        // 大缓冲区满时提交块
        if (largeBuffer.Length >= blockSize)
        {
            largeBuffer.Position = 0;
            await appendBlobClient.AppendBlockAsync(largeBuffer);
            largeBuffer.SetLength(0);
            lastFlushTime = DateTime.Now;
        }
        
        // 定期刷新：每2秒提交一次已有数据
        if (DateTime.Now - lastFlushTime >= TimeSpan.FromSeconds(2))
        {
            if (largeBuffer.Length > 0)
            {
                largeBuffer.Position = 0;
                await appendBlobClient.AppendBlockAsync(largeBuffer);
                largeBuffer.SetLength(0);
                lastFlushTime = DateTime.Now;
            }
        }
    }
    
    // 提交剩余数据
    if (largeBuffer.Length > 0)
    {
        largeBuffer.Position = 0;
        await appendBlobClient.AppendBlockAsync(largeBuffer);
    }
}

这种方式既能通过小缓冲区快速接收写入，减少崩溃时内存中未持久化的数据量，又能保证绝大多数块是4MB大小，避免触发追加Blob的50000块数量上限。

内容的提问来源于stack exchange，提问作者yaskovdev