Redshift含大表关联的UNLOAD查询性能优化方案咨询

一、查询逻辑优化 #

• 调整关联顺序，遵循小表驱动大表的原则，把最小的维度表放在JOIN语句最左侧，超大事实表放在最右侧，避免不必要的跨节点数据广播开销。所有过滤条件直接下推到各表的WHERE子句中，先过滤再关联，不要关联全量数据后再执行过滤，减少参与计算的数据集规模。
• 给两张大表的临时表补充设置sort key，选择关联列、常用过滤列作为sort key，若过滤条件常用时间维度，可将时间列设为复合sort key的首列。排序键可以让Redshift在关联、过滤时直接跳过无关数据块，大幅降低磁盘IO消耗。
• 若UNLOAD的查询包含聚合、窗口函数等复杂计算，先将计算结果预写入优化了分布键、排序键的临时表后再执行UNLOAD，不要直接UNLOAD实时计算的查询结果，避免UNLOAD过程等待计算耗时。临时表创建完成后执行ANALYZE 临时表名更新统计信息，让查询优化器生成最优执行计划。

二、UNLOAD参数调优 #

• 调整MAXFILESIZE参数，默认值为6.2GB，若导出数据量极大，可将该值调整为100~500MB（适配后续数据使用场景），避免单切片导出单文件过大拖慢并行效率，注意不要设置过小导致生成过多小文件。
• 若业务场景允许，添加COMPRESS GZIP参数，在Parquet本身压缩的基础上叠加GZIP压缩，进一步降低S3传输的IO耗时，目前绝大多数大数据处理工具都可以直接识别压缩后的Parquet文件。
• 可将单个大UNLOAD任务拆分为多个小任务并行执行，例如按时间范围拆分导出分区，同时触发多个UNLOAD任务导出不同分区的数据，只要集群资源充足，总耗时可降低数倍，拆分时注意添加ALLOWOVERWRITE参数避免路径冲突。

三、集群与资源配置优化 #

• 排查数据分布倾斜，执行语句SELECT distkey, COUNT(*) FROM 临时表名 GROUP BY 1 ORDER BY 2 DESC LIMIT 10;检查是否存在单个distkey对应行数远超其他值的倾斜情况，若存在则调整为复合distkey，或单独处理倾斜的特殊值，避免单节点负载过高拖慢整体任务。
• 避开集群高峰时段执行UNLOAD任务，不要和批量ETL、大查询任务抢占资源。若该UNLOAD为高频执行任务，可配置Redshift工作负载管理（WLM）为其分配专属队列、提升任务优先级，避免资源排队。
• 若数据规模极大，可临时扩容集群节点数或升级节点规格，UNLOAD为完全并行操作，集群资源增加可实现近线性的效率提升，任务完成后再缩容即可，额外成本极低。
• 确保Redshift集群和目标S3存储桶在同一AWS区域，跨区域传输会大幅增加数据导出的网络耗时。

内容的提问来源于stack exchange，提问作者JohnWick