使用Go向Azure Blob Storage上传大文件的最佳方案

内存影响分析 #

使用azblob.UploadBufferToBlockBlob上传大文件（比如5GB）时，必须先把整个文件读入内存转为字节数组，这会直接引发严重的内存问题：

• 单个5GB文件会占用约5GB内存空间，若用goroutine并发上传多个这类大文件，内存占用会呈倍数增长，极易触发OOM（内存不足）错误导致应用崩溃。
• 文件大小对该方法的影响是直接且显著的，文件越大，内存占用越高，并发场景下问题会被进一步放大。

大文件上传的替代方案 #

Azure Blob Storage的Go SDK提供了专门针对大文件的分段上传方案，推荐以下两种：

1. 使用azblob.UploadFileToBlockBlob #

该函数可直接读取本地文件，自动将文件分割为多个块（默认块大小4MB，可配置调整），分块上传，无需一次性加载整个文件到内存。示例代码：

import (
    "context"
    "os"
    "github.com/Azure/azure-sdk-for-go/sdk/storage/azblob"
)

func uploadLargeFile(ctx context.Context, containerClient *azblob.ContainerClient, filePath string, blobName string) error {
    file, err := os.Open(filePath)
    if err != nil {
        return err
    }
    defer file.Close()

    _, err = containerClient.UploadFileToBlockBlob(ctx, file, azblob.UploadToBlockBlobOptions{})
    return err
}

2. 手动分块上传（自定义控制） #

如果需要自定义块大小、重试策略或进度监控，可手动实现分块上传流程：

• 调用azblob.BlockBlobClient.StageBlock逐个上传文件块
• 所有块上传完成后，调用azblob.BlockBlobClient.CommitBlockList提交块列表

这种方式能完全控制内存占用，每次仅加载一个块到内存，适合超大型文件的精细化管理。

额外优化建议 #

• 调整分块大小：根据服务器内存资源，在UploadToBlockBlobOptions中设置BlockSize参数（比如8MB或16MB），平衡内存占用与上传效率。
• 限制并发数量：即便使用分块上传，过多并发goroutine仍会增加内存消耗，建议根据实际资源设置合理的并发上限。

内容的提问来源于stack exchange，提问作者rangarajan