如何加速从S3 Parquet文件向Redshift导入91GB数据？

核心优化思路：破解小文件瓶颈+提升集群并行效率+优化COPY执行逻辑 #

1. 合并小Parquet文件（最关键优化） #

• 22万个小文件是当前最大性能瓶颈：Redshift COPY操作中每个文件会占用一个处理slot，小文件过多会导致调度开销剧增，节点CPU/IO资源无法被充分利用。
• 操作建议：通过S3 Select、EMR或Glue将小文件合并为64MB-512MB的文件（匹配ra3系列节点的存储块最优大小），合并后将文件数控制在500个以内，可直接将导入耗时压缩30%-60%。

2. 调整集群并行能力 #

• 当前4个ra3.4xlarge节点（单节点8vCPU）的总并行度有限，若预算允许，可临时扩容至8-16个节点，导入完成后再缩容，利用Redshift弹性特性平衡性能与成本。
• 若无法扩容，先检查节点监控：如果CPU持续跑满，说明并行度不足；如果IO使用率过高，优先解决小文件合并问题。

3. 补充优化COPY参数 #

• 保留已设置的COMPUPDATE OFF、STATUPDATE OFF，避免导入时自动压缩和统计信息更新消耗资源。
• 新增PARALLEL ON：强制Redshift并行读取文件，小文件场景下手动开启比自动模式更稳定。
• 使用MANIFEST文件：将所有S3文件路径写入manifest.json，替代通配符匹配，减少S3前缀扫描的开销。
• 明确指定REGION参数，避免跨区域数据传输的延迟。

4. 优化前置/后置操作逻辑 #

• 导入前无需执行VACUUM：导入过程会产生大量临时数据，提前执行VACUUM无意义，应在全部数据导入完成后再执行VACUUM和ANALYZE。

内容的提问来源于stack exchange，提问作者Ahsin Shabbir