Node.js实现：从存储主机流式取文件并转发给客户端（隐藏源地址）

嘿，这个需求用Node.js的流式处理就能完美解决，核心就是让业务服务器当中间层，把存储主机的文件流直接转发给客户端——全程客户端只和业务服务器打交道，完全感知不到存储主机的存在。我给你拆解下具体实现思路和代码示例：

• 业务服务器接收客户端的文件请求，解析出目标文件的标识（比如文件名）
• 业务服务器私下向存储主机发起请求，获取文件的可读流
• 把存储主机返回的可读流直接通过pipe()转发到客户端的响应对象里，不用把整个文件加载到内存
• 同步存储主机的响应头信息给客户端，保证客户端能正确识别文件类型、大小等

我通常会用Express来快速搭建业务服务器，代码逻辑清晰且易维护：

const express = require('express');
const http = require('http');
const https = require('https');
const path = require('path');

const app = express();
const PORT = 3000;

// 这里配置你的存储主机地址，仅业务服务器内部可见
const STORAGE_HOST = 'http://your-storage-server-ip:4000'; // 换成实际的存储主机地址

// 客户端通过这个接口请求文件，完全看不到存储主机的地址
app.get('/files/:filename', (req, res) => {
  const targetFilename = req.params.filename;
  // 拼接存储主机上的文件路径（根据你的存储主机实际路径调整）
  const storageFileUrl = `${STORAGE_HOST}/storage/${targetFilename}`;

  // 根据存储主机的协议选择http/https模块
  const requestModule = storageFileUrl.startsWith('https') ? https : http;

  // 向存储主机发起请求
  const storageRequest = requestModule.get(storageFileUrl, (storageResponse) => {
    // 处理存储主机返回的错误状态（比如文件不存在）
    if (storageResponse.statusCode !== 200) {
      res.status(storageResponse.statusCode).send('File unavailable');
      return;
    }

    // 转发存储主机的关键响应头，让客户端正确处理文件
    res.setHeader('Content-Type', storageResponse.headers['content-type']);
    if (storageResponse.headers['content-length']) {
      res.setHeader('Content-Length', storageResponse.headers['content-length']);
    }
    // 如果需要让客户端直接下载文件，加上这个头
    // res.setHeader('Content-Disposition', `attachment; filename="${targetFilename}"`);

    // 核心操作：把存储主机的文件流直接pipe到客户端响应
    storageResponse.pipe(res);

    // 处理流传输中的错误
    storageResponse.on('error', (err) => {
      console.error('Failed to stream file from storage:', err);
      res.status(500).send('Internal server error');
    });
  });

  // 处理连接存储主机失败的情况
  storageRequest.on('error', (err) => {
    console.error('Cannot connect to storage server:', err);
    res.status(503).send('Storage service unavailable');
  });
});

app.listen(PORT, () => {
  console.log(`业务服务器已启动：http://localhost:${PORT}`);
});

如果你的存储主机还没搭建，这里给个简单的静态文件服务示例，用Express快速实现：

const express = require('express');
const app = express();
const STORAGE_PORT = 4000;

// 把本地的storage目录作为静态文件目录，存储实际文件
app.use('/storage', express.static(path.join(__dirname, 'storage')));

app.listen(STORAGE_PORT, () => {
  console.log(`存储主机已启动：http://localhost:${STORAGE_PORT}`);
});

• 流式传输的优势：全程不需要把文件加载到业务服务器内存，内存占用极低，特别适合大文件（比如视频、压缩包）的传输
• 响应头的同步：一定要转发Content-Type、Content-Length这些头，否则客户端可能无法正确识别文件（比如图片无法显示、下载的文件大小异常）
• 错误边界处理：务必处理存储主机连接失败、文件不存在、流传输错误等场景，避免客户端请求一直挂起
• HTTPS兼容：代码里已经做了协议判断，不管存储主机用HTTP还是HTTPS都能适配
• 地址完全隐藏：客户端只需要访问业务服务器的/files/xxx路径，完全不知道存储主机的IP或域名，达到你的需求

内容的提问来源于stack exchange，提问作者MemoChou