Node.js如何用node-fetch下载、sharp调整图片大小后上传S3无需本地存储

完全可以实现，整个流程可以全在内存中完成，不需要将图片写入本地磁盘。

核心逻辑 #

全程用二进制流/内存缓冲区处理数据，无本地临时文件产生：

• 发起HTTP请求拉取源站图片，直接将响应内容读入内存，不做本地磁盘写入
• 在内存中完成图片尺寸裁剪/缩放、格式转换、压缩参数调整等操作
• 将处理完成的图片二进制流直接上传到S3，全程不落地本地存储

常见开发语言实现要点 #

Python 实现 #

可以搭配requests拉取流、Pillow处理图片、boto3操作S3，核心逻辑参考：

import io
import requests
from PIL import Image
import boto3

# 初始化S3客户端
s3_client = boto3.client('s3')

# 1. 拉取源图片到内存
source_resp = requests.get("源图片URL", stream=True)
source_resp.raw.decode_content = True

# 2. 内存中处理图片
with Image.open(source_resp.raw) as origin_img:
    # 等比缩放到最大边长1080px，可按需调整
    origin_img.thumbnail((1080, 1080))
    # 处理后写入内存缓冲区
    output_buffer = io.BytesIO()
    # 调整质量参数压缩体积，quality数值越低体积越小、画质损失越大
    origin_img.save(output_buffer, format=origin_img.format, quality=85, optimize=True)
    output_buffer.seek(0)

# 3. 直接上传内存流到S3
s3_client.upload_fileobj(
    Fileobj=output_buffer,
    Bucket="你的S3桶名称",
    Key="S3内的目标存储路径"
)

如果需要处理超大尺寸图片，建议适当调高运行环境的内存上限，避免出现OOM问题

Node.js 实现 #

可以搭配axios拉取流、sharp处理图片、AWS官方SDK上传S3，基于Stream串起全流程效率更高：

const axios = require('axios');
const sharp = require('sharp');
const { S3Client, PutObjectCommand } = require('@aws-sdk/client-s3');

// 初始化S3客户端
const s3Client = new S3Client({ region: '你的S3区域编码' });

async function processImageAndUpload() {
  // 1. 拉取源图片流
  const sourceResp = await axios.get('源图片URL', { responseType: 'stream' });
  // 2. 流处理调整尺寸、压缩
  const processedStream = sourceResp.data
    .pipe(sharp().resize(1080)) // 缩放宽度到1080px，高度自动等比计算
    .jpeg({ quality: 85 }); // 输出jpg格式，质量85
  // 3. 上传到S3
  await s3Client.send(new PutObjectCommand({
    Bucket: '你的S3桶名称',
    Key: 'S3内的目标存储路径',
    Body: processedStream,
    ContentType: 'image/jpeg'
  }));
}

优化建议 #

• 可以根据业务场景调整压缩参数，比如缩略图场景可以把quality降到70~75，进一步缩减体积
• 优先将图片转成WebP、AVIF等现代压缩格式，同等画质下体积比JPG/PNG小30%以上，能大幅提升访问速度
• 批量迁移时建议添加并发控制，避免触发源站或者S3的接口限流规则
• 处理前可以先获取源图片的元信息，已经符合尺寸、体积要求的图片可以直接透传上传，节省计算资源

内容的提问来源于stack exchange，提问作者eliezra236