如何提升AWS SDK for .Net从S3下载文件的速度至与AWS CLI相当？

阿华AIGC实验室

2026-5-15

优化AWS SDK for .NET（搭配Mono）的S3下载性能

首先得明确：AWS CLI默认会启用多线程分块下载来提升大文件的传输速度，而TransferUtility的默认配置可能没跟上这个节奏，这是你看到性能差距的核心原因之一。下面是几个针对性的优化方案，按从易到难的顺序来：

1. 调整TransferUtility的并发分块配置

直接修改TransferUtilityDownloadRequest的参数，开启多线程分块，对齐AWS CLI的默认行为：

using var client = new AmazonS3Client();
using var transfer = new TransferUtility(client);

var downloadRequest = new TransferUtilityDownloadRequest
{
    BucketName = MYBUCKET,
    Key = MYKEY,
    FilePath = Path.GetTempFileName(),
    // 设置并发线程数，CLI默认一般是10左右，可根据实例性能调整
    NumberOfThreads = 10,
    // 设置分块大小，CLI默认是6MB，这个值和线程数配合调整
    PartSize = 6 * 1024 * 1024 
};

transfer.Download(downloadRequest);

这个调整应该能让TransferUtility的性能接近CLI，因为本质上是和CLI用了同样的分块并发逻辑。

2. 优化Mono运行时参数

Mono的默认配置在处理大文件IO和多线程时可能不够高效，试试添加这些运行时参数：

mono --optimize=all --gc=sgen your-application.exe

--optimize=all：启用所有代码优化，减少运行时开销
--gc=sgen：使用Sgen垃圾回收器，相比默认的Boehm GC，它在处理大内存对象时的开销更低，适合大文件下载场景

3. 升级AWS SDK for .NET到最新版本

旧版本的SDK可能存在分块下载、网络请求处理上的性能瓶颈，或者和Mono的兼容性问题。确保你使用的是最新稳定版的AWS SDK for .NET，新版本通常会修复这类性能问题。

4. 手动实现分块下载（绕过TransferUtility封装）

如果调整TransferUtility参数后还是达不到预期，可以直接用AmazonS3Client的GetObject方法手动控制分块和并发，减少封装层的额外开销：

using var client = new AmazonS3Client();
var objectMeta = client.GetObjectMetadata(MYBUCKET, MYKEY);
long totalSize = objectMeta.ContentLength;
long partSize = 6 * 1024 * 1024; // 6MB分块
int totalParts = (int)Math.Ceiling((double)totalSize / partSize);

var downloadTasks = new List<Task>();
using var fileStream = new FileStream(Path.GetTempFileName(), FileMode.Create);

for (int i = 0; i < totalParts; i++)
{
    long start = i * partSize;
    long end = Math.Min((i + 1) * partSize - 1, totalSize - 1);
    
    downloadTasks.Add(Task.Run(async () =>
    {
        var getRequest = new GetObjectRequest
        {
            BucketName = MYBUCKET,
            Key = MYKEY,
            ByteRange = new ByteRange(start, end)
        };
        
        using var response = await client.GetObjectAsync(getRequest);
        using var responseStream = response.ResponseStream;
        
        lock (fileStream)
        {
            fileStream.Seek(start, SeekOrigin.Begin);
            responseStream.CopyTo(fileStream);
        }
    }));
}

await Task.WhenAll(downloadTasks);

手动实现的好处是可以完全控制分块大小、并发数，避免TransferUtility可能带来的额外逻辑（比如进度回调、重试策略的额外开销）。