如何编写低内存占用的API以返回单文件约1GB的文件集合？

阿华AIGC实验室

2026-5-20

针对大文件批量下载的低内存API解决方案

这问题我之前帮团队处理过类似的场景，给你几个针对性的方案，都是经过实践验证能平衡响应速度和内存占用的：

1. 流式ZIP压缩响应（首选方案）

之前你用内存生成ZIP的方式在大文件场景下不可行，但流式ZIP可以完美解决——它不需要把整个ZIP包加载到内存，而是逐块读取源文件、实时压缩成ZIP片段，直接写入HTTP响应流。内存只需要保留当前处理的文件块（通常几MB大小），完全不会出现内存溢出的问题，同时用户能快速开始下载（不需要等所有文件压缩完成）。

实现思路：

选择支持流式操作的ZIP库：
- Java：直接用ZipOutputStream绑定到HttpServletResponse.getOutputStream()，遍历每个文件时，创建ZipEntry，然后用FileInputStream逐块读取源文件，写入ZipOutputStream，写完一个文件就flush一次。
- Python：用zipfile.ZipFile配合响应流（比如FastAPI的StreamingResponse），用生成器逐块写入内容。
- .NET：使用ZipArchive并传入HttpResponse.Body作为流，而不是MemoryStream。
关键响应头设置：
```
Content-Type: application/zip
Content-Disposition: attachment; filename="batch_files.zip"
Transfer-Encoding: chunked
```
用Transfer-Encoding: chunked可以不用提前计算整个ZIP的大小，直接分块输出。

简单代码示例（Python/FastAPI）：

from fastapi import FastAPI, Response
from zipfile import ZipFile, ZipInfo
import os

app = FastAPI()

def stream_zip(files: list[str]):
    # 用小缓冲区逐块处理，避免内存占用过高
    buffer_size = 8192  # 8KB块大小
    with BytesIO() as buffer:
        with ZipFile(buffer, "w") as zip_file:
            for file_path in files:
                file_name = os.path.basename(file_path)
                zip_info = ZipInfo(file_name)
                zip_info.external_attr = 0o644 << 16  # 设置文件权限
                # 逐块读取源文件并写入ZIP
                with open(file_path, "rb") as f:
                    zip_file.writestr(zip_info, f.read(buffer_size))
                    while chunk := f.read(buffer_size):
                        zip_file.writestr(zip_info, chunk)
                # 输出当前ZIP片段
                buffer.seek(0)
                yield buffer.read()
                buffer.seek(0)
                buffer.truncate()

@app.get("/download-batch")
async def download_batch():
    file_list = ["/path/to/large_file1.bin", "/path/to/large_file2.bin"]
    return Response(
        content=stream_zip(file_list),
        media_type="application/zip",
        headers={"Content-Disposition": 'attachment; filename="batch_files.zip"'}
    )

注意：生产环境一定要用逐块读取的方式，避免一次性加载大文件到内存。

2. 预压缩分块+范围请求（适合静态大文件）

如果你的待下载文件是静态的（不经常变化），可以提前把每个大文件压缩成分块（比如每块100MB），然后让API支持HTTP范围请求。客户端可以并行下载不同的块，服务端只需要返回请求的块内容，内存占用仅为单个块的大小，同时下载速度更快（多线程并行）。

实现要点：

预处理文件：将每个大文件分割成固定大小的块，比如用split命令：split -b 100M large_file.bin large_file_part_
API支持Range请求头：解析Range: bytes=0-104857599这类请求，返回对应块的内容，并设置响应头：
```
Accept-Ranges: bytes
Content-Range: bytes 0-104857599/1073741824
Content-Length: 104857600
```
客户端可以用工具（比如aria2c）或者自定义逻辑并行下载所有块，最后合并。