如何用Node.js将AWS S3存储桶文件传输至公共AWS S3预签名URL？

你可以通过以下几种方式实现S3对象直接向预签名URL传输，无需本地中转：

1. AWS Lambda 单对象/批量处理 #

Lambda运行在AWS内部网络，能直接访问S3且无需本地下载，是最直接的方案：

• 核心逻辑：Lambda读取源S3桶的对象内容，通过HTTP请求将内容发送到目标预签名URL
• 权限配置：给Lambda角色添加s3:GetObject权限（针对源桶），确保Lambda能访问预签名URL（若目标是S3预签名URL，可配置S3 VPC端点优化网络）
• 示例Python代码：

import boto3
import requests

s3 = boto3.client('s3')

def lambda_handler(event, context):
    # 从事件中获取源对象信息和预签名URL
    source_bucket = event['source_bucket']
    source_key = event['source_key']
    presigned_url = event['presigned_url']
    
    # 获取S3对象内容
    response = s3.get_object(Bucket=source_bucket, Key=source_key)
    object_content = response['Body'].read()
    
    # 发送到预签名URL
    put_response = requests.put(presigned_url, data=object_content)
    put_response.raise_for_status()
    
    return {
        'statusCode': 200,
        'message': f"Successfully transferred {source_key}"
    }

2. S3 Batch Operations + Lambda 批量处理 #

如果需要处理大量图片，用S3 Batch批量触发Lambda：

• 步骤：
  1. 创建S3 Batch任务，选择源桶的对象列表（可通过前缀、标签筛选）
  2. 配置任务触发上述Lambda，将每个对象的桶名、键名以及预签名URL作为参数传入Lambda
  3. 批量执行传输任务

3. 使用AWS CLI结合管道（适合少量文件） #

如果是手动处理少量文件，可在AWS CLI中用管道直接传输，无需本地保存：

aws s3 cp s3://source-bucket/image.jpg - | curl -X PUT --data-binary @- "https://your-presigned-url"

• 说明：aws s3 cp ... -将对象内容输出到标准输出，管道传给curl直接发送到预签名URL
• 注意：需确保本地环境已配置AWS CLI权限，且网络能访问源S3和预签名URL

关键注意事项 #

• 预签名URL必须是PUT类型（对应上传操作），且在有效期内有效
• 若目标预签名URL对应S3对象，优先考虑S3原生的CopyObject API（跨账户/桶场景需配置相应权限），这种方式效率更高，无需传输数据
• 批量操作时，注意控制并发数，避免触发S3或Lambda的限流限制

内容的提问来源于stack exchange，提问作者Narendra Rao