Redshift大表A MINUS B查询在QuickSight直连超时，无SPICE可用时的解决办法

• 预计算结果表：在Redshift中定期执行预计算SQL生成结果表，避免每次可视化都重复运算A MINUS B。示例SQL：

  CREATE TABLE IF NOT EXISTS A_MINUS_B AS 
  SELECT * FROM A MINUS SELECT * FROM B;
  

  可通过Lambda触发Redshift定时任务，按需调整刷新频率（比如每小时或业务低峰时段），让QuickSight直接查询这个预计算表，大幅缩短查询耗时。

• 优化MINUS查询性能：

  • 给A、B表的核心匹配字段设置Redshift排序键或分布键，利用Redshift的列存储特性减少数据扫描量，提升集合运算效率。
  • 替换MINUS为更高效的等价写法，比如用LEFT JOIN + IS NULL：

    SELECT a.* 
    FROM A a 
    LEFT JOIN B b ON a.id = b.id -- 替换为实际匹配字段
    WHERE b.id IS NULL;
    

    对比两种写法的执行计划，选择耗时更短的方案。
  • 添加数据过滤条件，只保留仪表板需要的数据集，比如限定时间范围：

    SELECT * FROM A WHERE date >= CURRENT_DATE - 30 
    MINUS 
    SELECT * FROM B WHERE date >= CURRENT_DATE - 30;
    

• 调整Redshift资源与队列：

  • 临时扩容Redshift集群节点数，提升查询处理能力，峰值过后再缩容控制成本。
  • 将QuickSight的查询分配到Redshift的高优先级队列，避免被其他低优先级任务挤占资源，确保查询在2分钟硬限制内完成。

• 精简QuickSight可视化逻辑：

  • 只保留可视化必需的字段，减少返回的数据量；避免在单个可视化中使用过多维度或指标。
  • 实现查询层面的增量逻辑：比如只计算新增或变化的数据行，结合预计算表的增量更新，避免每次全量运算A MINUS B。

内容的提问来源于stack exchange，提问作者Bandi LokeshReddy