如何无需字节缓冲区将HttpWebRequest/WebResponse内容写入文件？

核心优化：直接在响应流与文件流之间传输数据 #

你当前的问题在于用大byte数组做中转，导致内存占用高且GC回收不及时。咱们可以通过复用一个小容量的固定缓冲区（而非大数组），直接把响应流的数据写入持续打开的文件流，彻底规避大数组带来的内存问题。这样既能保留进度报告和取消逻辑，又能显著降低内存压力。

修改后的代码示例 #

private void Worker_DoWork(object sender, DoWorkEventArgs e)
{
    BackgroundWorker bW = sender as BackgroundWorker;
    Req = (HttpWebRequest)WebRequest.Create(FileSource);
    Req.AddRange(BRead, ByteTotal); // 断点续传逻辑保留

    // 将FileStream放在外层using中，全程复用，避免反复打开关闭文件
    using (WebResponse resp = Req.GetResponse())
    using (Stream respStream = resp.GetResponseStream())
    using (FileStream fs = new FileStream(FilePath, FileMode.Append, FileAccess.Write, FileShare.None))
    {
        RunDL(bW, respStream, fs, e);
    }
}

private void RunDL(BackgroundWorker bW, Stream respStream, FileStream fs, DoWorkEventArgs e)
{
    // 使用小容量固定缓冲区（8KB是.NET默认优化值，平衡IO效率与内存占用）
    byte[] smallBuffer = new byte[8192]; 
    int bytesRead;

    while (BRead < ByteTotal)
    {
        if (bW.CancellationPending)
        {
            e.Cancel = true;
            break;
        }

        // 计算本次最多可读字节数，避免超过剩余下载量
        int maxRead = Math.Min(smallBuffer.Length, (int)(ByteTotal - BRead));
        bytesRead = respStream.Read(smallBuffer, 0, maxRead);

        if (bytesRead == 0)
            break; // 响应流已结束

        // 直接写入文件流，无需中转大数组
        fs.Write(smallBuffer, 0, bytesRead);
        BRead += bytesRead;
        bW.ReportProgress((int)((double)BRead / ByteTotal * 100)); // 改为百分比进度，更直观

        if (bW.CancellationPending)
        {
            e.Cancel = true;
            break;
        }
    }
}

关键改动说明 #

• 移除大ChunkSize数组：改用固定大小的小缓冲区，内存占用极低，GC可以快速回收，不会出现内存长时间滞留的问题。
• 复用FileStream：把FileStream放在外层using中全程保持打开，避免每次Append都新建FileStream带来的IO开销（比如文件句柄分配、磁盘寻址等）。
• 简化逻辑：删掉了CurChunkSpace、BWritten等复杂状态变量，直接用BRead追踪已下载字节数，逻辑更清晰。
• 进度报告优化：改为百分比进度，用户体验更好（也可以根据需求换回原有的字节数进度）。

关于FileStream放在外层using的效率问题 #

答案是肯定的，这样做更高效：

• 每次创建FileStream都会触发操作系统层面的文件句柄分配、磁盘文件打开/关闭操作，这些都是有开销的——尤其是原代码中每次填满缓冲区就新建一次FileStream的场景，开销会被放大。
• 复用单个FileStream能减少这些IO开销，还能降低频繁打开关闭文件可能带来的磁盘碎片化风险。
• 补充：如果你的下载逻辑需要支持断点续传重启，记得重启时用fs.Seek(BRead, SeekOrigin.Begin)调整写入位置，保证数据写入正确。

额外建议 #

• 如果你的.NET版本是4.5及以上，建议用HttpClient替代HttpWebRequest，它的异步API更简洁，性能更优，同样支持流操作。
• 小缓冲区的大小可按需调整：SSD磁盘可以适当增大到16KB-32KB提升IO效率；机械硬盘用8KB就足够平衡性能与内存占用。

内容的提问来源于stack exchange，提问作者IAmJersh