使用AWS Go SDK：为何S3下载到内存比文件系统更慢？

我正在使用AWS Go SDK从S3存储桶下载对象，实现了两种下载方式：

• 下载到文件

func (a *AwsClient) DownloadToFile(ctx context.Context, objectKey string) (string, error) {
    params := &awsS3.GetObjectInput{
        Bucket: aws.String(a.bucket),
        Key:    aws.String(objectKey),
    }

    downloadPath := "some/valid/path"
    f, err := os.Create(downloadPath)
    defer f.Close()
    _, err = a.downloader.Download(ctx, f, params)
    return downloadPath, err
}

• 下载到内存

func (a *AwsClient) DownloadToMemory(ctx context.Context, objectKey string) (string, error) {
    params := &awsS3.GetObjectInput{
        Bucket: aws.String(a.bucket),
        Key:    aws.String(objectKey),
    }

    buffer := manager.NewWriteAtBuffer([]byte{})  
    _, err = a.downloader.Download(ctx, buffer, params)
    return buffer.Bytes(), err
}

针对100MB的文件，下载到内存耗时30秒，而下载到文件系统仅需8秒。系统为Apple M1、Ventura系统、8GB内存，空闲内存充足，并非内存不足导致。以下是该现象的核心原因：

原因分析 #

1. WriteAtBuffer的动态扩容开销 #

AWS SDK的manager.NewWriteAtBuffer基于Go切片实现动态缓冲区，当分片下载的内容需要写入超出当前切片长度的位置时，会触发切片扩容：

• 每次扩容都会复制现有内存数据到新的更大切片，100MB文件会经历多次扩容操作，每次复制都带来额外的CPU和内存带宽开销。
• 文件写入时，系统页缓存直接处理数据，无需应用层做内存复制，内核负责异步刷盘，应用层感知到的写入速度更快。

2. 分片下载的随机写入适配差异 #

S3 Downloader默认采用并发分片下载（默认并发数5），每个分片写入目标的不同位置：

• 对于os.File，WriteAt操作可直接利用内核页缓存完成随机写入，开销极低。
• 对于WriteAtBuffer，若写入位置超出当前buffer长度，需先扩容到足够大小再写入；即使位置在buffer范围内，也需在内存中做数据拷贝，整体开销远大于文件随机写入。

3. 内存操作的额外累积开销 #

• 内存下载需要将100MB数据完整保存在内存中，期间的多次内存分配、复制会占用大量CPU时间，累积起来的耗时不可忽视。
• 文件下载时，数据直接写入页缓存，应用层调用Download完成时，内核可能仍在异步刷盘，但应用层已返回，因此感知到的耗时更短。

优化建议 #

若要优化内存下载速度，可预先分配足够大小的缓冲区，避免动态扩容：

func (a *AwsClient) DownloadToMemory(ctx context.Context, objectKey string) ([]byte, error) {
    // 先获取对象大小，预先分配buffer
    headObjInput := &awsS3.HeadObjectInput{
        Bucket: aws.String(a.bucket),
        Key:    aws.String(objectKey),
    }
    headResp, err := a.s3Client.HeadObject(ctx, headObjInput)
    if err != nil {
        return nil, err
    }

    bufferSize := int(*headResp.ContentLength)
    buffer := manager.NewWriteAtBuffer(make([]byte, bufferSize))  
    _, err = a.downloader.Download(ctx, buffer, &awsS3.GetObjectInput{
        Bucket: aws.String(a.bucket),
        Key:    aws.String(objectKey),
    })
    return buffer.Bytes(), err
}

预先分配buffer后，可消除扩容带来的内存复制开销，内存下载速度会接近文件下载水平。

内容的提问来源于stack exchange，提问作者Roshan Kumar