AWS上批量处理大型gzip压缩CSV文件实现用户订单聚合的方案咨询
AWS客户订单聚合场景优化方案
现有方案潜在痛点
- 额外引入DynamoDB读写成本:单日最大总数据量可达300GB(60个5GB文件),全量读写的吞吐量配置、存储成本较高,单客户订单量过大时还可能出现DynamoDB热分区问题,查询性能不稳定
- 调度逻辑复杂:需要自行实现ECS任务的依赖编排、全量文件处理完成的状态校验,容错和异常重试的开发成本高
- 链路冗余:先写入数据库再读取聚合的链路没必要,增加了不必要的IO开销
方案一:无服务器ETL方案(运维成本最低,优先推荐)
直接用全托管的AWS Glue服务完成全链路处理,无需自行维护任何计算、存储资源:
- 配置Glue爬虫自动爬取S3桶内的gzip格式CSV文件,自动推断表结构,生成Glue元数据表
- 运行Glue ETL任务,直接通过内置的分组聚合能力,按
customer_id、order_id两层分组,直接生成符合你定义的Customer、Order、Item三层结构的实例数据 - 聚合完成后直接将结果投递到S3、SQS、EventBridge,也可以触发Lambda调用下游服务接口完成推送
方案优势
- 开发量极低:不需要写文件解压、分片读取、任务调度的逻辑,Glue原生支持大文件处理、自动容错重试
- 成本可控:按实际处理的计算时长、扫描数据量计费,无需预留任何资源
- 弹性充足:自动适配文件数量、大小的波动,哪怕后续文件量级翻10倍也不需要调整架构
方案二:Serverless Spark方案(适合后续有数据分析需求的场景)
如果团队后续还要对订单数据做统计分析、报表生成等需求,推荐使用Amazon EMR Serverless:
- 只需要写简单的Spark SQL即可完成聚合:先按
customer_id、order_id分组将商品字段聚合为item数组,再上层按customer_id分组将订单聚合为order数组,完全匹配你需要的Customer结构 - 300GB以内的数据处理耗时通常不超过15分钟,成本比自行维护ECS集群低40%左右
- 处理结果支持直接写入消息队列、数据库、下游服务等各类目的地
方案三:容器架构优化方案(适配现有ECS技术栈)
如果你们已经有成熟的ECS运维体系,不想引入新服务,可以对现有方案做如下优化,完全去掉DynamoDB依赖:
- 每个ECS任务读取文件时,先用
S3 Select按列过滤所需字段,无需读取全文件内容,大幅降低IO开销 - 引入
Amazon Kinesis Data Streams做中间缓冲:所有ECS任务将读取到的订单行按customer_id做分区写入Kinesis - 启动另一组ECS任务消费Kinesis数据,同
customer_id的数据会被分配到同一个消费者实例,直接在内存完成聚合,不需要额外的数据库存储成本,且全程为流式处理,无需等待所有文件处理完成再启动聚合,总耗时更短
内容的提问来源于stack exchange,提问作者user1888955
相关产品推荐
相关产品推荐

