处理AWS S3压缩JSON文件的架构方案及可选AWS服务咨询

你当前使用的S3事件通知+SQS+Lambda架构已经能覆盖增量文件的近实时处理需求，针对你的百万级存量文件处理、重计算场景，可以额外考虑以下服务：

• S3 Batch Operations：不需要自行编写Node.js脚本遍历DB查询存量对象键名再发送SQS消息，可直接基于S3对象清单对百万级存量文件批量执行入队SQS、触发Lambda等操作，自带进度跟踪、失败重试、执行结果报告能力，比自定义脚本稳定性更高。
• AWS Glue：适合重计算场景的无服务器ETL服务，支持自定义Python/Scala脚本处理嵌套JSON结构，资源可自动扩展，不受Lambda最大15分钟运行时长、10GB内存的上限约束，可单独用于批量处理存量文件，也可以搭配Glue Streaming处理增量数据，和现有SQS架构无缝集成。
• AWS Step Functions：可与现有Lambda+SQS架构搭配，将文件解压、嵌套结构计算、结果入库、成功对象键名落表等步骤拆解为可视化工作流，内置重试、异常分支跳转、超时控制能力，不需要在Lambda代码中耦合复杂的调度逻辑。
• Amazon ECS/EKS on Fargate：如果单文件计算逻辑复杂度极高，Lambda的资源、时长约束无法满足，可使用Fargate运行无服务器容器处理SQS消息，资源配置灵活度更高，不需要维护底层EC2实例。

Athena完全可以适配嵌套对象、数组的处理需求，不需要将JSON完全展开为扁平结构即可执行计算：

• 标准Athena原生提供丰富的JSON处理函数：json_extract、json_extract_scalar可直接提取多层嵌套对象的字段值，unnest函数可展开数组结构做行级处理，常规的字段提取、数组遍历、聚合计算逻辑都可以通过纯SQL实现。
• 如果你有特殊的自定义计算规则，可以通过Athena UDF自定义函数，用Python/Java编写逻辑嵌入SQL语句执行，不需要完全脱离SQL开发。
• 如果你不需要强实时性，可直接使用Athena for Spark，用Spark DataFrame API处理复杂嵌套结构，灵活性比纯SQL更高，百万级存量文件可以直接批量扫描S3处理，按扫描数据量计费，POC阶段不需要提前预留资源，验证成本极低。

内容的提问来源于stack exchange，提问作者codejunkie