处理Web响应大文件时触发OutOfMemoryException问题求助

你的问题根源是responseReader.ReadToEnd()——这个方法会把700MB以上的响应内容一次性全部加载到内存中的字符串里。由于字符串采用Unicode编码，每个字符占2字节，700MB的原始内容会占用1.4GB以上内存，直接触发内存不足异常。

要处理超大响应内容，必须改用流式分块处理，避免一次性加载全部数据到内存。以下是具体解决方案：

直接将响应写入本地文件 #

如果需求是保存响应内容到文件，直接用字节流分块写入：

using (HttpWebResponse webResponse = FormUpload.MultipartFormDataPost(postURL, userAgent, postParameters))
using (Stream responseStream = webResponse.GetResponseStream())
using (FileStream fileStream = new FileStream("large_output.file", FileMode.Create, FileAccess.Write))
{
    // 定义缓冲区大小，可根据实际调整（推荐4KB~16KB）
    byte[] buffer = new byte[4096];
    int bytesRead;
    
    // 分块读取并写入
    while ((bytesRead = responseStream.Read(buffer, 0, buffer.Length)) > 0)
    {
        fileStream.Write(buffer, 0, bytesRead);
    }
}

分块处理响应内容（非写入文件场景） #

如果需要对内容做解析等业务处理，同样在循环中逐块处理，无需加载全部内容：

using (HttpWebResponse webResponse = FormUpload.MultipartFormDataPost(postURL, userAgent, postParameters))
using (Stream responseStream = webResponse.GetResponseStream())
{
    byte[] buffer = new byte[8192];
    int bytesRead;
    
    while ((bytesRead = responseStream.Read(buffer, 0, buffer.Length)) > 0)
    {
        // 在这里处理当前块的buffer数据，比如解析、转换等
        ProcessChunk(buffer, bytesRead);
    }
}

// 自定义分块处理方法
void ProcessChunk(byte[] chunk, int length)
{
    // 写入你的业务逻辑
}

关键注意事项 #

• 用using语句自动管理流的释放，替代手动调用Close()，避免资源泄漏
• 如果处理的是文本类大文件，可使用StreamReader分块读取（比如ReadLine()或ReadBlock()），但绝对不要用ReadToEnd()
• 缓冲区大小可灵活调整：太大可能增加瞬时内存占用，太小会提升IO操作次数，按需平衡即可

内容的提问来源于stack exchange，提问作者Srikanth