每年仅运行一次的Node.js应用最优解决方案咨询

核心思路 #

因为任务每年仅执行一次，完全没必要维持长期运行的服务器，优先选按需触发的无服务器架构，同时针对大文件（6.7GB）的下载、处理做针对性优化，兼顾成本、可靠性和效率。

方案1：AWS Lambda + S3 + Step Functions（最优选择） #

这套组合完全贴合“年度一次性任务”的场景，按需付费，零运维成本：

• 触发机制：用EventBridge（原CloudWatch Events）设置年度定时规则，到点自动启动整个工作流。
• 大文件下载规避Lambda限制：Lambda临时存储只有512MB，直接下载6.7GB文件肯定撑不住，所以先把文件转存到S3：
  • 用小内存Lambda发起S3的流式上传，把Census.gov的文件直接拉到S3，还能开S3 Transfer Acceleration加速下载，把15-20分钟的下载时间压缩一半以上。
  • 给大文件做分块下载+断点续传，避免网络波动导致前功尽弃，Node.js里用aws-sdk的S3分段上传就能实现。
• 解压与数据导入：
  • 下载完成后，触发高配置Lambda（选10GB内存规格，对应更高CPU和带宽），从S3流式读取压缩文件，边解压边处理数据，不用把整个解压文件存到本地。
  • 导入RDS时用批量操作：MySQL用LOAD DATA LOCAL INFILE，PostgreSQL用COPY命令，比单条插入效率高几十倍；还可以关闭RDS自动提交，每1000条数据提交一次，减少IO开销。
  • 如果解压+导入耗时超过Lambda的15分钟上限，就换成ECS Fargate任务：Step Functions直接触发Fargate容器，配置足够的存储和运行时间，适合处理超长时间的任务。
• 清理收尾：最后触发一个小Lambda，删除S3里的压缩文件和临时处理文件，避免占用存储。
• 额外优势：Step Functions可以可视化整个任务流程，失败时自动重试（最多3次，间隔5分钟），还能配置CloudWatch告警，出问题及时通知。

方案2：ECS Fargate 定时任务（快速迁移备选） #

如果不想大改现有Node.js代码，直接把应用打包成Docker镜像，用EventBridge定时触发Fargate任务：

• 给Fargate配置足够的临时存储（比如20GB）和高带宽网络，确保能放下6.7GB压缩文件并快速下载。
• 任务完成后自动销毁容器，完全没有闲置成本，代码几乎不用改就能跑。

必做优化点 #

1. 下载加速：开S3 Transfer Acceleration，利用AWS全球边缘节点拉取Census的文件，比直接下载快很多。
2. 导入效率：用数据库原生的批量导入命令，别用循环单插；导入前暂时关闭RDS的只读副本同步，完成后再开启，避免同步拖慢速度。
3. 可靠性：给每个步骤加重试机制，配置CloudWatch告警，任务失败第一时间收到通知。

内容的提问来源于stack exchange，提问作者Sam