如何在formdata中传递Duplex Stream实现S3下载流的远程转发

• 自定义PassThrough流缺少文件元信息：fs.createReadStream 可自动读取文件大小、文件名等元数据，而PassThrough流无内置相关信息，Form-Data库无法生成符合服务端要求的multipart字段结构。
• 请求配置冲突与缺失：原配置中手动声明Content-Type: multipart/form-data，虽然后续form.getHeaders()会覆盖该值，但未传递流长度信息，且未放开axios的请求体大小限制，部分服务端会因请求长度校验失败拒绝接收。
• 语法错误：mainFunction未添加async修饰符，内部的await关键字会直接抛出语法错误，导致请求无法执行。
• 缺少流错误监听：下载流管道传输过程中如果出现异常，上传请求无感知，会直接失败。

方案1：流直传（内存占用低，适合大文件） #

明确传递文件元信息给Form-Data，修正请求配置：

const { PassThrough } = require('stream');
const FormData = require('form-data');
const axios = require('axios');

const download = (url, duplex) => {
  return new Promise((resolve, reject) => {
    axios
      .request({
        url,
        method: "GET",
        responseType: "stream",
      })
      .then((response) => {
        response.data.pipe(duplex);
        duplex.on('finish', () => resolve({
          contentLength: response.headers['content-length'],
          contentType: response.headers['content-type']
        }));
        duplex.on('error', reject);
      })
      .catch(reject);
  });
};

const mainFunction = async () => { // 新增async修饰符
  const duplex = new PassThrough();
  const fileMeta = download("your-s3-url", duplex);

  const form = new FormData();
  const { contentLength, contentType } = await fileMeta;
  // 第三个参数传递文件元信息，必填
  form.append("file", duplex, {
    filename: "your-custom-filename.jpg", // 替换为实际需要的文件名
    contentType: contentType,
    knownLength: parseInt(contentLength) // 告知Form-Data流的总长度，避免chunked兼容问题
  });

  await axios.post("your-target-upload-url", form, {
    headers: form.getHeaders(), // 直接使用自动生成的带boundary的请求头，不要手动加Content-Type
    maxBodyLength: Infinity, // 取消axios默认的请求体大小限制
    maxContentLength: Infinity
  });
};

如果目标服务端支持Transfer-Encoding: chunked，可以去掉knownLength配置，无需等待下载完成拿到content-length即可发起上传，实现边下载边上传。

方案2：流转Buffer上传（兼容性最高，适合小文件） #

如果服务端不支持chunked上传，且文件体积不大，可以先把流转成Buffer再提交，兼容性最好：

// 新增流转Buffer工具函数
const streamToBuffer = (stream) => {
  const chunks = [];
  return new Promise((resolve, reject) => {
    stream.on('data', chunk => chunks.push(chunk));
    stream.on('end', () => resolve(Buffer.concat(chunks)));
    stream.on('error', reject);
  });
};

// 调用示例
const mainFunction = async () => {
  const duplex = new PassThrough();
  const fileMeta = download("your-s3-url", duplex);
  const buffer = await streamToBuffer(duplex);
  const { contentType } = await fileMeta;

  const form = new FormData();
  form.append("file", buffer, {
    filename: "your-custom-filename.jpg",
    contentType: contentType
  });

  await axios.post("your-target-upload-url", form, {
    headers: form.getHeaders(),
    maxBodyLength: Infinity
  });
};

内容的提问来源于stack exchange，提问作者kailash yogeshwar