使用AWS Lambda从S3的ZIP文件中提取单个文件（无需下载完整ZIP）

核心思路 #

利用S3的流式读取能力，配合ZIP解析库直接处理文件流，仅提取目标文件，避免将整个ZIP下载到Lambda本地或内存中。以下是Python和Node.js两种实现方案：

Python 实现方案 #

1. 依赖与权限 #

• 无需额外安装第三方库，Lambda默认包含boto3和zipfile模块
• 为Lambda角色添加以下S3权限：
  • s3:GetObject（读取源ZIP文件）
  • s3:PutObject（若需将提取的文件存回S3）

2. 示例代码 #

import boto3
from zipfile import ZipFile
from io import BytesIO

s3 = boto3.client('s3')

def lambda_handler(event, context):
    # 配置参数
    source_bucket = 'your-source-bucket'
    zip_key = 'path/to/your/file.zip'
    target_file_name = 'target-file.txt'  # ZIP内要提取的文件名
    dest_bucket = 'your-destination-bucket'  # 可选：提取后文件存储的桶
    dest_key = 'path/to/save/target-file.txt'  # 可选：存储路径

    try:
        # 获取S3上的ZIP文件流
        response = s3.get_object(Bucket=source_bucket, Key=zip_key)
        zip_stream = BytesIO(response['Body'].read())
        
        # 解析ZIP并提取目标文件
        with ZipFile(zip_stream) as zf:
            if target_file_name not in zf.namelist():
                raise ValueError(f"目标文件 {target_file_name} 不在ZIP中")
            
            # 读取目标文件内容
            file_content = zf.read(target_file_name)
            
            # 可选：将文件存回S3
            s3.put_object(
                Bucket=dest_bucket,
                Key=dest_key,
                Body=file_content
            )
            
            return {
                'statusCode': 200,
                'body': f"成功提取文件 {target_file_name}，已存储到 {dest_bucket}/{dest_key}"
            }
    
    except Exception as e:
        return {
            'statusCode': 500,
            'body': f"提取失败：{str(e)}"
        }

3. 关键说明 #

• 使用BytesIO将S3响应流转换为ZIP可处理的字节流
• zf.namelist()获取ZIP内所有文件列表，先校验目标文件是否存在
• 即使GB级ZIP，也仅加载目标文件内容到内存，避免资源耗尽

Node.js 实现方案 #

1. 依赖与权限 #

• 需要安装第三方库yauzl（支持流式解析ZIP，无需加载整个文件）
• 为Lambda角色添加与Python相同的S3权限
• 部署时需将yauzl打包到Lambda部署包中

2. 示例代码 #

const AWS = require('aws-sdk');
const yauzl = require('yauzl');
const s3 = new AWS.S3();

exports.handler = async (event) => {
    // 配置参数
    const sourceBucket = 'your-source-bucket';
    const zipKey = 'path/to/your/file.zip';
    const targetFileName = 'target-file.txt';
    const destBucket = 'your-destination-bucket';
    const destKey = 'path/to/save/target-file.txt';

    try {
        // 获取S3文件流
        const s3Stream = s3.getObject({ Bucket: sourceBucket, Key: zipKey }).createReadStream();
        
        // 流式解析ZIP
        await new Promise((resolve, reject) => {
            yauzl.fromReadStream(s3Stream, { lazyEntries: true }, (err, zipfile) => {
                if (err) return reject(err);
                
                zipfile.readEntry();
                zipfile.on('entry', (entry) => {
                    if (entry.fileName === targetFileName) {
                        // 提取目标文件内容
                        zipfile.openReadStream(entry, (err, readStream) => {
                            if (err) return reject(err);
                            
                            // 将流上传到S3
                            const uploadStream = s3.upload({
                                Bucket: destBucket,
                                Key: destKey,
                                Body: readStream
                            });
                            
                            uploadStream.on('error', reject);
                            uploadStream.on('finish', resolve);
                        });
                    } else {
                        // 跳过其他文件
                        zipfile.readEntry();
                    }
                });
                
                zipfile.on('end', () => {
                    reject(new Error(`目标文件 ${targetFileName} 不在ZIP中`));
                });
                
                zipfile.on('error', reject);
            });
        });

        return {
            statusCode: 200,
            body: JSON.stringify(`成功提取文件 ${targetFileName}，已存储到 ${destBucket}/${destKey}`)
        };
    } catch (error) {
        return {
            statusCode: 500,
            body: JSON.stringify(`提取失败：${error.message}`)
        };
    }
};

3. 关键说明 #

• yauzl的lazyEntries模式会逐个读取ZIP条目，避免加载整个文件到内存
• 通过监听entry事件匹配目标文件，仅处理该文件的流
• 直接将提取的流上传到S3，无需在本地暂存文件

通用注意事项 #

• Lambda内存建议设置为256MB以上（根据目标文件大小调整），超时设置为10-30秒
• 若ZIP文件加密或有特殊压缩格式，需额外处理解析逻辑
• 可通过Lambda触发事件（如S3对象创建事件）自动触发提取流程

内容的提问来源于stack exchange，提问作者CC.