如何通过Lambda实现S3跨桶解压文件并保留源路径？

没问题，我来一步步教你怎么用Lambda实现这个需求——不用本地下载，直接在云端完成ZIP解压和跨桶复制，还能完美保留源路径结构。

首先得让Lambda在源S3桶有新的ZIP文件上传时自动触发：

• 打开Lambda控制台，创建新函数（选Python运行时即可，生态成熟好调试）
• 在函数的「触发器」标签页，添加S3触发器
• 选择你的源存储桶，事件类型选All object create events（或者更精准的Put事件）
• 可以设置后缀过滤为.zip，避免非ZIP文件触发Lambda，节省不必要的资源消耗

Lambda需要读取源S3桶的文件，同时写入目标S3桶，所以得给它的执行角色附加对应的权限：

1. 创建一个IAM角色，给它附加AWSLambdaBasicExecutionRole（用来写CloudWatch日志，方便后续排查问题）
2. 再添加一个自定义权限策略，内容如下（记得替换成你的实际桶名）：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "s3:GetObject",
            "Resource": "arn:aws:s3:::your-source-bucket/*"
        },
        {
            "Effect": "Allow",
            "Action": "s3:PutObject",
            "Resource": "arn:aws:s3:::your-dest-bucket/*"
        }
    ]
}

Python是Lambda里最常用的语言之一，处理ZIP流也很方便。核心逻辑是直接读取S3上的ZIP二进制流，在内存中解压，再把文件上传到目标桶，完全不用本地存储：

import boto3
import zipfile
from io import BytesIO

s3 = boto3.client('s3')

def lambda_handler(event, context):
    # 从S3事件中提取源文件的桶名和路径
    source_bucket = event['Records'][0]['s3']['bucket']['name']
    source_key = event['Records'][0]['s3']['object']['key']
    
    # 跳过非ZIP文件，避免无效触发
    if not source_key.endswith('.zip'):
        print(f"Skipping non-ZIP file: {source_key}")
        return
    
    try:
        # 获取ZIP文件的二进制流，无需下载到本地
        response = s3.get_object(Bucket=source_bucket, Key=source_key)
        zip_content = response['Body'].read()
    except Exception as e:
        print(f"Failed to fetch ZIP file: {str(e)}")
        raise e
    
    # 解析ZIP流并处理每个文件
    with zipfile.ZipFile(BytesIO(zip_content), 'r') as zip_ref:
        for file_info in zip_ref.infolist():
            # 跳过ZIP里的空目录，避免在S3创建无效的空路径
            if file_info.is_dir():
                continue
            
            # 构建目标路径：源路径 + ZIP文件名（去掉后缀） + 解压后的文件名
            # 示例：源路径foo/bar/file.zip → 目标路径foo/bar/file/[解压后的文件]
            zip_base_name = source_key.split('/')[-1].replace('.zip', '')
            source_path_prefix = '/'.join(source_key.split('/')[:-1]) if '/' in source_key else ''
            
            if source_path_prefix:
                dest_key = f"{source_path_prefix}/{zip_base_name}/{file_info.filename}"
            else:
                dest_key = f"{zip_base_name}/{file_info.filename}"
            
            # 读取解压后的文件内容并上传到目标桶
            try:
                s3.put_object(
                    Bucket='your-dest-bucket',  # 替换成你的目标桶名
                    Key=dest_key,
                    Body=zip_ref.read(file_info.filename)
                )
                print(f"Successfully uploaded: {dest_key}")
            except Exception as e:
                print(f"Failed to upload {dest_key}: {str(e)}")
                raise e
    
    return {
        'statusCode': 200,
        'body': f"All files extracted and copied from {source_key} successfully!"
    }

• 处理大文件：Lambda默认超时只有3秒，最大可以设置到15分钟；内存越大，CPU算力越高，处理速度越快。如果ZIP文件超过几百MB，建议调高Lambda的内存（比如512MB或1GB）和超时时间。如果是几GB的超大ZIP，可能需要结合S3 Batch Operations或者分块处理。
• 避免循环触发：如果源桶和目标桶在同一个账户，一定要确保目标桶的上传事件不会触发Lambda（比如不要把解压后的文件再打包成ZIP上传回源桶），可以通过触发器的前缀/后缀过滤，或者在代码里判断源桶不是目标桶。
• 编码兼容：有些ZIP文件里的文件名包含非ASCII字符，初始化ZipFile时可以指定encoding='utf-8'或者encoding='gbk'来适配不同编码。
• 日志调试：一定要查看Lambda的CloudWatch日志，遇到错误时能快速定位问题（比如权限不足、路径错误等）。

内容的提问来源于stack exchange，提问作者sarit