如何处理CloudAppendBlob.AppendTextAsync提交块数超50000上限的异常？

这个问题我之前也踩过坑，本质是Azure Append Blob的硬性限制：每个Append Blob最多只能包含50000个块，而你每次调用AppendTextAsync都会把传入的文本作为独立块添加到Blob里，调用次数破50000后自然就触发异常了。下面结合你的代码给几个实用的解决方案：

1. 批量合并消息，减少Append调用次数 #

最直接的优化就是不要每条消息单独调用AppendTextAsync，而是积累一批消息后一次性写入，大幅降低块的生成数量，从根源上避免触发限制。

修改你的MessageLogger方法，增加批量积累逻辑：

private async Task MessageLogger() 
{ 
    var messageBuilder = new StringBuilder();
    // 设定批量阈值：积累到1MB内容，或每5秒写入一次（取先触发的）
    var batchSizeThreshold = 1024 * 1024; // 1MB
    var lastWriteTime = DateTime.UtcNow;

    while (true) 
    { 
        // 保留按日期拆分日志的逻辑
        if (DateTime.UtcNow.Day != _logCreatedUtc.Day) 
        { 
            await CreateNewLogAsync(); 
            lastWriteTime = DateTime.UtcNow;
            messageBuilder.Clear();
        } 

        // 从队列取消息并积累
        while (_messageQueue.Count > 0)
        {
            messageBuilder.AppendLine(_messageQueue.Dequeue());
            
            // 检查是否达到批量大小阈值
            var currentSize = Encoding.UTF8.GetByteCount(messageBuilder.ToString());
            if (currentSize >= batchSizeThreshold)
            {
                await _currentAppendBlob.AppendTextAsync(messageBuilder.ToString());
                messageBuilder.Clear();
                lastWriteTime = DateTime.UtcNow;
            }
        }

        // 即使没到大小阈值，每隔5秒也写入一次，避免消息积压
        if (messageBuilder.Length > 0 && (DateTime.UtcNow - lastWriteTime).TotalSeconds >= 5)
        {
            await _currentAppendBlob.AppendTextAsync(messageBuilder.ToString());
            messageBuilder.Clear();
            lastWriteTime = DateTime.UtcNow;
        }

        // 检查块数是否接近上限，提前拆分日志
        await _currentAppendBlob.DownloadAttributesAsync();
        if (_currentAppendBlob.Properties.AppendBlobCommittedBlockCount >= 49900) // 留100块缓冲
        {
            await CreateNewLogAsync();
            lastWriteTime = DateTime.UtcNow;
            messageBuilder.Clear();
        }

        if (messageBuilder.Length == 0 && _messageQueue.Count == 0)
        {
            await Task.Delay(1000);
        }
    }
}

2. 跟踪块数，主动拆分日志 #

除了按日期拆分，还要主动跟踪当前Append Blob的已提交块数，当块数接近50000上限时，立即创建新日志文件。通过DownloadAttributesAsync获取AppendBlobCommittedBlockCount属性即可实现，注意不要过于频繁调用（会增加存储请求次数），可以和批量写入逻辑结合，比如每写入N次后检查一次。

3. 利用最大块大小，提升单块内容量 #

标准存储的Append Blob单块最大支持4MiB，高级存储则支持100MiB。如果你的单条日志内容较大，尽量让每次AppendTextAsync写入的内容接近这个上限，这样每个块能容纳更多日志，减少总块数。

额外注意事项 #

• 异常重试：Append操作可能因网络问题失败，建议添加重试逻辑（比如用Polly库），避免批量消息丢失。
• 内存优化：用StringBuilder代替string拼接，积累大量消息时能显著降低内存开销。
• 日志命名规范：创建新日志时，除日期外可增加序号（比如20240520-log-001.txt），避免同名文件覆盖。

内容的提问来源于stack exchange，提问作者OlavT