AWS Lambda下可替代Python内置open()读写S3文件的方案是什么？

以下是完全基于AWS Lambda内置依赖的轻量实现，无需引入任何第三方包，完全符合需求：

import io
import boto3
from urllib.parse import urlparse
from contextlib import contextmanager

s3_client = boto3.client("s3")

def s3uriparse(s3_uri):
    """解析S3 URI，返回 (bucket, key) 元组"""
    parsed = urlparse(s3_uri)
    if parsed.scheme != "s3":
        raise ValueError("Only s3:// URI is supported")
    bucket = parsed.netloc
    key = parsed.path.lstrip("/")
    return bucket, key

@contextmanager
def s3_open(s3_uri, mode="rt", encoding="utf-8"):
    """
    类Python内置open()的S3文件操作接口
    支持模式：rb/rt/wb/wt
    """
    bucket, key = s3uriparse(s3_uri)
    file_obj = None

    if mode.startswith("r"):
        # 读模式：直接拉取S3对象返回流
        resp = s3_client.get_object(Bucket=bucket, Key=key)
        raw_stream = resp["Body"]._raw_stream
        if mode.endswith("t"):
            file_obj = io.TextIOWrapper(raw_stream, encoding=encoding)
        else:
            file_obj = raw_stream
        try:
            yield file_obj
        finally:
            file_obj.close()

    elif mode.startswith("w"):
        # 写模式：先写内存缓冲区，退出上下文时一次性上传S3
        buffer = io.BytesIO()
        if mode.endswith("t"):
            file_obj = io.TextIOWrapper(buffer, encoding=encoding)
        else:
            file_obj = buffer
        try:
            yield file_obj
        finally:
            if mode.endswith("t"):
                file_obj.flush()
                buffer.seek(0)
            s3_client.put_object(
                Bucket=bucket,
                Key=key,
                Body=buffer.getvalue()
            )
            file_obj.close()
    else:
        raise ValueError(f"Unsupported mode: {mode}")

使用示例 #

和期望的用法完全一致：

filename = "s3://mybucket/path/to/file.txt"
outpath = "s3://mybucket/path/to/lowercase.txt"

with s3_open(filename) as fd, s3_open(outpath, "wt") as fout:
    for line in fd:
        fout.write(line.strip().lower())

也可以直接对接pandas等库：

import pandas as pd

with s3_open("s3://mybucket/data.csv") as f:
    df = pd.read_csv(f)

方案特性 #

• 完全使用Lambda默认内置的boto3和Python标准库，无额外依赖，不会增加部署包体积
• API和原生open()高度对齐，学习成本极低
• 支持文本/字节两种读写模式，可直接传入所有接收类文件对象的Python库
• 全程内存操作，无需写入Lambda临时目录，性能更高

注意事项 #

由于S3是对象存储，不支持流式追加写入，因此写模式下会先将所有内容暂存在内存中，上下文退出时才会上传到S3，仅适合单文件大小不超过Lambda配置内存上限的场景，完全满足绝大多数常规业务需求。

内容的提问来源于stack exchange，提问作者ogdenkev