如何通过AWS Lambda高效解压S3存储的Gzip文件？

需要解压存储在S3中的Gzip文件，解压后的文件保存至同一S3存储桶。目前使用AWS Lambda函数进行解压，但处理包含10万行的压缩CSV文件耗时约1分钟，需确保在Lambda最大运行时长15分钟内完成解压，想知道最高效的解压方式。

当前Lambda实现 #

# 流式解压源文件
with smart_open.open(s3_gzip_path) as src:
    with smart_open.open(s3_dest_csv_path) as dest:
        batch = ''
        for row in src:
            batch += row
            if len(batch) > THRESHOLD:
                dest.write(batch)
                batch = ''

高效解压优化方案 #

1. 优化批量写入逻辑 #

代码中用字符串拼接batch += row会频繁创建新字符串，内存开销大且效率低。改用列表存储批量内容，最后用''.join()拼接，能大幅提升性能：

with smart_open.open(s3_gzip_path) as src:
    with smart_open.open(s3_dest_csv_path) as dest:
        batch = []
        for row in src:
            batch.append(row)
            # 按预估字节数判断批量大小，比单纯计数更合理
            if sum(len(line) for line in batch) > THRESHOLD:
                dest.write(''.join(batch))
                batch = []
        # 处理最后一批剩余内容，避免丢失数据
        if batch:
            dest.write(''.join(batch))

2. 升级Lambda资源配置 #

Lambda的CPU资源与内存配额成正比，默认128MB内存的CPU性能极低。直接将内存调至2048MB或更高，CPU性能会翻倍以上，解压速度能显著提升。同时设置合理的超时时间（比如10分钟），确保大文件能处理完成。

3. 改用原生gzip+ boto3流式处理 #

smart_open存在中间层开销，用原生gzip模块搭配boto3的StreamingBody直接流式处理，无需缓存大量数据，对大文件更友好：

import boto3
import gzip

s3 = boto3.client('s3')

# 获取Gzip文件流
src_response = s3.get_object(Bucket='你的存储桶名', Key='压缩文件路径/file.gz')
# 直接通过GzipFile解压流
uncompressed_stream = gzip.GzipFile(fileobj=src_response['Body'])

# 流式写入S3目标文件
s3.put_object(
    Bucket='你的存储桶名',
    Key='解压后文件路径/uncompressed.csv',
    Body=uncompressed_stream
)

4. 调整批量阈值参数 #

当前THRESHOLD如果设置过小，会导致频繁发起S3写入请求，增加延迟。建议将阈值调整为1MB以上（例如10*1024*1024即10MB），减少写入次数，提升整体处理效率。

5. 超大文件并行处理（可选） #

如果处理的是GB级超大文件，可将文件按行分割为多个片段，利用Lambda并发或Step Functions实现并行解压。注意拆分时要保证不截断CSV行，可提前读取文件头，确保每个分片都包含完整行数据。

内容的提问来源于stack exchange，提问作者vourla