如何用Node.js实现无需本地下载直接从公共URL上传文件到S3

由于你提供的源文件本身托管在S3公共存储桶，因此可分为S3专属优化方案和通用公共URL方案两类，所有方案均不需要将文件写入本地磁盘：

方案1：S3 CopyObject API（最优，仅适配源为S3的场景） #

该方案直接调用S3官方的对象复制接口，所有数据流转完全在AWS内部完成，不需要经过你的服务端，资源消耗最低、速度最快，是当前场景的首选。

依赖安装 #

npm install @aws-sdk/client-s3

代码示例 #

const { S3Client, CopyObjectCommand } = require("@aws-sdk/client-s3");

// 初始化S3客户端
const s3Client = new S3Client({
  region: "你的目标桶所属AWS区域",
  credentials: {
    accessKeyId: "你的AWS访问密钥ID",
    secretAccessKey: "你的AWS秘密访问密钥"
  }
});

async function copyS3PublicFile(sourcePublicUrl, targetBucket, targetFileKey) {
  // 解析源URL得到源桶名和源对象Key
  const sourceUrl = new URL(sourcePublicUrl);
  const sourceBucket = sourceUrl.hostname.split('.')[0];
  const sourceKey = decodeURIComponent(sourceUrl.pathname.slice(1));

  const copyCommand = new CopyObjectCommand({
    Bucket: targetBucket,
    Key: targetFileKey, // 自定义目标文件在私有桶的存储路径
    CopySource: `${sourceBucket}/${sourceKey}`,
    ACL: "private" // 设置目标文件为私有访问
  });

  await s3Client.send(copyCommand);
  return `转存完成，目标路径：s3://${targetBucket}/${targetFileKey}`;
}

// 调用示例
copyS3PublicFile(
  "http://s3.amazonaws.com/appforest_uf/f1633354808992x298365941824238600/Archive%20%281%29.zip",
  "你的私有桶名称",
  "user_uploads/2024/archive_1.zip"
);

注意事项 #

• 不需要你的服务端承担任何上下行流量，适合超大文件转存
• 复制速度取决于AWS内部链路，通常比经过服务端的方案快10倍以上

方案2：HTTP流直传S3（通用，适配任意公共URL） #

如果后续源文件不再托管在S3，可以用该通用方案：通过HTTP请求拿到源文件的可读流，直接传递给S3上传接口，全程仅在内存中流转数据，不写入本地磁盘。

依赖安装 #

npm install @aws-sdk/client-s3 @aws-sdk/lib-storage node-fetch
# Node.js 18及以上版本自带原生fetch，可省略node-fetch依赖

代码示例 #

const { S3Client } = require("@aws-sdk/client-s3");
const { Upload } = require("@aws-sdk/lib-storage");
const fetch = require("node-fetch");

const s3Client = new S3Client({
  region: "你的目标桶所属AWS区域",
  credentials: {
    accessKeyId: "你的AWS访问密钥ID",
    secretAccessKey: "你的AWS秘密访问密钥"
  }
});

async function streamPublicUrlToS3(sourcePublicUrl, targetBucket, targetFileKey) {
  // 请求源文件拿到可读流，不需要下载完整文件到内存
  const sourceResponse = await fetch(sourcePublicUrl);
  if (!sourceResponse.ok) throw new Error(`源文件请求失败，状态码：${sourceResponse.status}`);

  // 初始化分块上传，自动处理大文件分片逻辑
  const uploadTask = new Upload({
    client: s3Client,
    params: {
      Bucket: targetBucket,
      Key: targetFileKey,
      Body: sourceResponse.body, // 直接传入可读流
      ACL: "private",
      ContentType: sourceResponse.headers.get("content-type") || "application/octet-stream"
    }
  });

  // 可选：监听上传进度
  uploadTask.on("httpUploadProgress", (progress) => {
    console.log(`上传进度：${progress.loaded} / ${progress.total || '未知'} 字节`);
  });

  await uploadTask.done();
  return `转存完成，目标路径：s3://${targetBucket}/${targetFileKey}`;
}

注意事项 #

• 支持自定义流处理逻辑，比如传输中计算文件哈希校验完整性、加水印等
• 内存占用极低，仅需存储当前传输的分片数据，适合GB级大文件转存

方案3：Serverless 函数部署（低运维场景） #

如果不想自行维护Node.js服务，可以将上述两种逻辑部署到AWS Lambda、阿里云函数计算等Serverless平台，bubble.io文件上传完成后直接调用函数的HTTP触发器执行转存，无需运维服务器，按调用量付费。

注意事项 #

• 需配置足够的函数执行超时时间，超大文件转存优先选方案1避免超时
• 函数本身不需要配置磁盘存储，流式处理仅消耗临时内存

通用注意事项 #

• 转存完成后建议校验目标文件的大小、ETag和源文件一致，避免网络抖动导致的文件损坏
• 私有桶请关闭公共访问权限，需要对外访问时可生成临时预签名URL
• 如果源URL有防盗链限制，可在请求头中添加合法的Referer、User-Agent参数

内容的提问来源于stack exchange，提问作者Parth Shah