Express.js使用Fetch代理大二进制数据是否占用内存及验证方法

核心结论 #

你当前的实现会把req.body完全加载到内存中，没法做到流式代理（不占用内存处理大文件）。原因是Express默认会通过内置的body解析中间件（比如express.json()、express.urlencoded()或者express.raw()）把请求体读取到内存里，生成req.body——这直接违背了你要流式传输的初衷。

正确的流式实现方案 #

要实现和request库一样的流式代理，直接把req（它本身是一个可读流）作为fetch的body参数即可，不需要依赖req.body。同时要注意复制原请求的必要头信息（比如Content-Type），确保后端服务能正确解析数据：

app.post("/my-endpoint", async (req, res) => {
    try {
        const url = "http://link-to-backend.com/";
        // 复制原请求的Content-Type头，按需添加其他必要头
        const headers = new Headers(req.headers);
        // 移除host头，避免后端收到错误的host信息（可选，根据后端需求调整）
        headers.delete("host");

        const fetchResponse = await fetch(url, {
            method: "POST",
            body: req, // 直接传req可读流，而非req.body
            headers: headers
        });

        // 把后端响应的流pipe到客户端响应
        fetchResponse.body.pipe(res);
    } catch (e) {
        console.error("代理出错:", e);
        res.status(500).send("error");
    }
});

另外要确保你的Express应用没有启用会读取请求体到内存的中间件（比如express.json()、express.raw()等），否则这些中间件会先把整个请求体读入内存，流式传输就没意义了。如果必须用其他中间件，要确保这个代理端点跳过这些body解析中间件：

// 全局启用body解析中间件
app.use(express.json());
// 但/my-endpoint端点跳过，直接处理流
app.post("/my-endpoint", (req, res) => { /* 你的代理逻辑 */ });

验证内存占用的方法 #

1. 用Node.js内置API监控内存 #

在请求处理前后打印进程内存使用情况，对比处理大文件时的内存变化：

app.post("/my-endpoint", async (req, res) => {
    console.log("处理前内存:", process.memoryUsage().heapUsed / 1024 / 1024 + " MB");
    try {
        // ... 代理逻辑 ...
        fetchResponse.body.pipe(res).on("finish", () => {
            console.log("处理后内存:", process.memoryUsage().heapUsed / 1024 / 1024 + " MB");
        });
    } catch (e) {
        // ... 错误处理 ...
    }
});

如果是流式处理，内存占用应该不会随文件大小大幅飙升；如果用了req.body，大文件会导致内存占用明显增长。

2. 用工具做内存分析 #

• 使用clinic.js的clinic heap-profiler工具，启动应用后发送大文件请求，查看内存快照，确认是否有大的Buffer对象占用内存。
• 或者用Node.js的--inspect参数启动应用，在Chrome DevTools的Memory面板录制内存分配情况，观察请求处理过程中内存的变化趋势。

3. 大文件测试 #

用curl发送几个GB级别的二进制文件请求：

curl -X POST -T large-file.bin http://your-app.com/my-endpoint

同时观察应用进程的内存占用（用top、htop或者Windows任务管理器），如果内存没有明显上涨，说明是流式处理；如果内存飙升到接近文件大小，说明数据被加载到内存了。

内容的提问来源于stack exchange，提问作者Jeppe Christensen