ReadAsMultipartAsync()调用后内存异常飙升原因咨询

内存飙升的原因 #

1. 多次内存拷贝累积 #

调用GetAsync时（默认HttpCompletionOption.ResponseContentRead），HttpClient已经把整个960MB的响应体加载到内存中。而ReadAsMultipartAsync默认会将这份内存中的内容再次读取、拆分，为每个Multipart Part创建独立的内存流存储内容——等于原始响应被复制了至少一遍。加上Multipart协议的边界标识、头部信息等额外解析开销，内存占用自然会超过2倍预期。

2. 字符串编码转换的额外开销 #

如果Multipart中的JSON部分体积较大，从UTF-8字节数组解码为.NET Unicode字符串时，每个字符会占用2字节内存（UTF-8通常是1-3字节/字符）。比如100MB的UTF-8 JSON，解码后会变成200MB左右的字符串，这部分额外内存会进一步推高整体占用。

3. 默认解析器的中间缓冲区 #

ReadAsMultipartAsync使用的默认MultipartMemoryStreamProvider会为每个Part创建独立的MemoryStream，这些流在扩容时会预分配比实际内容更大的内存（比如按倍数扩容），多个Part的预分配内存叠加后，也会导致内存占用远超实际内容大小。

优化方案：避免不必要的内存复制 #

1. 采用流式解析，延迟加载响应体 #

不要使用默认的GetAsync，改用HttpCompletionOption.ResponseHeadersRead，这样HttpClient只会读取响应头，响应体留在网络流中，不会一次性加载到内存：

var response = await client.GetAsync("http://localhost:5094/message/test", HttpCompletionOption.ResponseHeadersRead);

2. 使用自定义StreamProvider处理Part #

通过自定义MultipartStreamProvider，让每个Part直接写入文件或按需处理的流，避免全部加载到内存：

public class CustomMultipartHandler : MultipartStreamProvider
{
    public override Stream GetStream(HttpContent parent, HttpContentHeaders headers)
    {
        // 针对文件Part写入磁盘
        if (!string.IsNullOrEmpty(headers.ContentDisposition?.FileName))
        {
            var filePath = Path.Combine(@"C:\your\save\path", headers.ContentDisposition.FileName.Trim('"'));
            return new FileStream(filePath, FileMode.Create, FileAccess.Write, FileShare.None, 4096, true);
        }
        // 针对JSON Part使用预分配合理大小的内存流
        else
        {
            return new MemoryStream(1024 * 1024);
        }
    }
}

// 使用示例
var provider = new CustomMultipartHandler();
await response.Content.ReadAsMultipartAsync(provider);

3. 直接从流处理内容，避免全量读取 #

处理JSON Part时，直接从流反序列化，不要先读取为字符串：

foreach (var part in provider.Contents)
{
    if (part.Headers.ContentType?.MediaType == "application/json")
    {
        await using var stream = await part.ReadAsStreamAsync();
        var jsonObj = await JsonSerializer.DeserializeAsync<YourModel>(stream);
        // 处理jsonObj
    }
}

内容的提问来源于stack exchange，提问作者Q-bertsuit