FTP文件夹新增数据同步至S3的高性价比实现方案咨询

方案1：基于Lambda的无服务器实现（性价比最高） #

• 成本优势：Lambda每月有百万次免费调用额度，你每天仅调用10次，一年也才3650次，基本可以做到计算侧零成本，仅需支付S3存储和FTP出网流量费用。
• 实现步骤：
  1. 复用你已有的新增文件识别模块，新增文件筛选逻辑：对识别到的新增文件按大小排序，累加文件大小直到总数值接近50Mb阈值，超出部分留到下一次运行处理
  2. 内置FTP客户端依赖（Python可使用ftplib，Node.js可使用basic-ftp），拉取选中的待传输文件到Lambda临时目录（Lambda临时目录最大支持512Mb，完全满足单次50Mb的传输要求）
  3. 调用AWS SDK的put_object接口把文件上传到S3对应路径，上传完成后删除本地临时文件，同时记录已传输的文件标记，避免下次重复识别
  4. 配置EventBridge定时规则，按你需要的间隔触发Lambda运行即可，每天10次的触发成本几乎可以忽略
• 注意事项：需要确保Lambda所在VPC可以访问到你的FTP服务器，如FTP在公网可给Lambda配置公网NAT网关，如FTP在AWS内网则配置对应安全组放行即可。

方案2：基于EC2的轻量实现（适合有额外运维需求的场景） #

• 成本优势：可选AWS免费 tier的t2.micro实例（一年免费），即使过了免费期每月成本也仅几美元，成本也非常低。
• 实现步骤：
  1. 在EC2上部署你已有的识别模块，加上文件大小筛选逻辑，同样单次选中总大小不超过50Mb的新增文件
  2. 本地编写shell或Python脚本，结合lftp工具拉取FTP文件，再用aws s3 cp命令批量上传到S3对应路径
  3. 配置Linux系统的crontab定时任务，按你设定的间隔每天执行10次脚本即可
• 优化点：可以配置EC2的S3端点，走内网传输S3数据，不需要支付公网流量费用。

通用优化建议 #

• 传输前对文件做gzip压缩，可大幅降低传输时间和流量成本
• 新增校验逻辑，文件上传到S3后比对MD5值，确保传输完整后再标记为已传输
• 对于传输失败的文件加入重试队列，下次运行优先传输失败的文件

内容的提问来源于stack exchange，提问作者Janzaib M Baloch