如何在Lambda中无需写入文件直接将JSON/TXT对象上传至S3？

完全可以直接将内存中的JSON或文本数据上传到S3，无需先写入本地文件——Lambda的文件系统大部分区域只读，但通过AWS SDK直接操作内存对象调用S3 API就能实现需求。

实现思路 #

AWS官方SDK（如Python的boto3、Node.js的AWS SDK）均支持直接将内存中的字节流、字符串数据上传至S3，无需落地到文件系统。核心是调用S3的put_object接口，将内存中的数据作为Body参数传入。

Python示例代码 #

import boto3
import json

def lambda_handler(event, context):
    # 构造要存储的JSON数据（直接在内存中生成）
    target_data = {
        "user_id": "u_001",
        "operation": "data_sync",
        "result": "success",
        "timestamp": "2024-05-20T14:30:00"
    }
    # 将JSON对象转为字符串
    json_content = json.dumps(target_data, ensure_ascii=False)
    
    # 初始化S3客户端
    s3_client = boto3.client('s3')
    
    # 直接上传内存中的字符串到S3
    try:
        s3_client.put_object(
            Bucket='your-target-bucket',
            Key='data/records/20240520/u_001_sync.json',
            Body=json_content,
            ContentType='application/json; charset=utf-8'
        )
        return {"statusCode": 200, "msg": "数据已成功上传至S3"}
    except Exception as err:
        return {"statusCode": 500, "msg": f"上传失败: {str(err)}"}

文本（TXT）格式上传示例 #

如果要上传TXT数据，只需调整ContentType并传入文本字符串即可：

# 替换上传部分的代码
txt_content = "这是要存储的纯文本内容"
s3_client.put_object(
    Bucket='your-target-bucket',
    Key='data/text/notes.txt',
    Body=txt_content,
    ContentType='text/plain; charset=utf-8'
)

关键注意事项 #

• 权限配置：必须确保Lambda的执行角色拥有s3:PutObject权限，对应的IAM策略示例：

  {
      "Version": "2012-10-17",
      "Statement": [
          {
              "Effect": "Allow",
              "Action": "s3:PutObject",
              "Resource": "arn:aws:s3:::your-target-bucket/*"
          }
      ]
  }
  

• 编码处理：上传中文内容时，需指定字符集（如charset=utf-8），避免乱码。
• 内存限制：Lambda有内存配额，若数据量过大（接近内存上限），需考虑分片上传，但常规业务数据直接内存上传完全可行。

内容的提问来源于stack exchange，提问作者HENSEL WILSON GOVEAS