AWS Redshift小数据集入仓方案咨询：三种方式孰优孰劣？

你的场景是S3每分钟新增2个1KB小文件，每日总计约2880个文件、2.8MB数据，以下是三个方案的具体分析：

1. Lambda触发实时导入Redshift：并非最佳实践 #

Lambda触发S3事件实时导入的方式技术上可行，但完全不适合你的场景：

• Redshift是面向批量分析的数据仓库，单条/小批量数据导入会带来大量连接开销——每次Lambda调用都要建立Redshift连接，这部分耗时远超过数据导入本身；
• 频繁的小批量写入会生成大量WAL日志，拖慢Redshift的整体性能，还会增加存储成本；
• 每日近3000次Lambda调用，加上Redshift的连接资源消耗，整体成本比批量方案高很多。

2. Postgres过渡+每日批量ETL：没必要多此一举 #

这个方案比实时Lambda导入更合理，但属于过度设计：

• 如果你有实时查询需求，Postgres作为过渡层可以满足，但如果只是为了最终入Redshift，额外维护一个Postgres实例会增加运维成本，还要处理数据同步的一致性问题；
• 你的数据量极小，直接在S3层面做批量处理即可，完全不需要中间数据库层。

3. 每日生成清单+COPY命令：最适合你的方案 #

完全可行，且是这个场景下的最优选择：

• Redshift的COPY命令专门针对S3批量数据做了优化，即使是大量小文件，也能通过并行加载提升效率；
• 生成清单文件的方式很简单：可以用每日定时触发的Lambda遍历S3当日路径下的文件，生成JSON格式的清单（示例：[{"url":"s3://my-bucket/2024-05-20/file1.json"},{"url":"s3://my-bucket/2024-05-20/file2.json"}]），然后执行COPY命令：

  COPY target_table 
  FROM 's3://my-bucket/manifests/daily-2024-05-20.json'
  IAM_ROLE 'arn:aws:iam::123456789012:role/RedshiftS3AccessRole'
  MANIFEST
  FORMAT AS JSON 'auto';
  

• 甚至不需要清单，直接用S3前缀匹配（比如s3://my-bucket/2024-05-20/）就能批量导入，操作更简单；
• 这种方式成本极低，Redshift的批量加载效率最高，运维也最省心。

内容的提问来源于stack exchange，提问作者Paul