纯AWS无服务器环境下，如何精确统计S3上100GB CSV文件行数？

核心方案概述 #

利用AWS Glue Data Catalog的近似行数估算作为分段依据，通过AWS Step Functions编排多个Lambda函数并行处理文件的分段行数计数，最终汇总得到精确总行数。该方案完全基于AWS原生无服务器服务，规避Lambda的超时和存储限制，适配不规范CSV格式。

1. 分段策略制定 #

基于Glue爬虫提供的近似行数（记为estimated_rows），取误差上限值max_estimated = estimated_rows * 2（应对+100%的误差）。设置每个Lambda处理的行数批次batch_size（建议初始设为1,000,000行，可根据实际测试调整），计算总批次：

total_batches = ceil(max_estimated / batch_size)

该批次大小需确保单个Lambda读取对应数据的时间控制在15分钟以内（按100MB/s带宽计算，15分钟可处理约87GB数据，足够覆盖单批次需求）。

2. Step Functions编排流程 #

使用Step Functions的Map状态实现批量任务调度：

• 初始化参数：传入S3文件路径、batch_size、max_estimated等核心配置
• 并行触发Lambda任务：每个任务对应一个批次的偏移范围（offset = batch_size * batch_index，limit = batch_size）
• 收集计数结果：所有Lambda返回各自批次的行数后，Step Functions自动求和得到总行数
• 终止冗余任务：若某批次返回的行数小于batch_size，说明已到达文件末尾，可终止后续未执行的批次

3. Lambda单批次计数实现 #

每个Lambda的核心逻辑（以Python为例）：

import duckdb

def lambda_handler(event, context):
    s3_path = event['s3_path']
    offset = event['offset']
    limit = event['limit']
    
    # 初始化DuckDB并配置S3访问（默认使用Lambda角色权限）
    con = duckdb.connect()
    con.execute("INSTALL httpfs; LOAD httpfs;")
    
    # 执行流式分段计数查询（适配不规范CSV的参数需根据实际调整）
    query = f"""
        SELECT COUNT(*) 
        FROM read_csv(
            '{s3_path}',
            header=false,
            delimiter=',',
            quote='"',
            escape='\\'
        ) 
        OFFSET {offset} 
        LIMIT {limit}
    """
    result = con.execute(query).fetchone()
    con.close()
    
    return {'count': result[0]}

关键优势：DuckDB的S3流式读取无需下载整个文件，仅读取对应偏移的分段数据，不会占用Lambda的/tmp目录空间，且查询效率远高于全量读取。

4. 优化与验证 #

• 并发调优：根据AWS Lambda并发限制（默认1000），调整Step Functions的并行度，最大化处理速度
• 批次大小调整：通过测试单个批次的处理时间，动态调整batch_size（如处理100万行需3分钟，则可将批次提升至300万行）
• 结果验证：可额外触发一个Lambda执行SELECT COUNT(*) FROM read_csv('s3_path') OFFSET {total_batches * batch_size} LIMIT 1，确认是否存在剩余行数，避免遗漏

内容的提问来源于stack exchange，提问作者Ismael Ghalimi