AWS Redshift含Limit子句的Join语句返回结果异常排查求助

Hi there,

首先可以明确说：这大概率不是Redshift的bug，更可能是查询逻辑的不确定性或者Redshift分布式架构下的执行优化导致的结果偏差。咱们一步步拆解问题：

核心问题根源推测 #

1. 无ORDER BY的LIMIT导致结果非确定性 #

Redshift是分布式MPP数据库，当你在子查询中使用LIMIT但没有搭配ORDER BY时，数据库无法保证每次执行子查询返回的结果是一致的。因为数据分散在多个节点上，没有明确排序的话，数据库会从各个节点返回的结果中随机取前N条（这里是5条）。

你单独执行子查询时得到了71、88、11、99、44，但当这个子查询作为关联的一部分执行时，Redshift可能从不同节点获取了不同的Top5结果（比如包含9、90），最终导致关联后出现这些不在你单独执行结果里的值。

2. Redshift的查询优化改写了执行逻辑 #

Redshift的查询优化器可能会对查询进行重写，比如将LIMIT的执行时机从「子查询执行后」调整为「关联之后」，也就是先执行两个表的关联，再取前5条结果。这时候返回的customerid自然可能来自A2表中符合条件的记录，而不是先过滤A0的5条再关联。

具体排查与解决步骤 #

步骤1：给子查询添加明确的ORDER BY #

修改你的关联查询，给A0子查询加上ORDER BY，强制结果的确定性：

select A2.customerid 
from (
    SELECT A3.customerid 
    FROM b1traderecords A3 
    WHERE A3.customerid < 100 
    ORDER BY A3.customerid  -- 新增排序，保证每次返回相同的5条
    LIMIT 5
) A0
join (
    select customerid from b3customerinfo where customerrating > 0.7
) A2 
on A0.customerid = A2.customerid;

执行这个查询，看是否还会出现9、90这类不在预期子查询结果中的值。

步骤2：查看执行计划确认LIMIT的执行时机 #

用EXPLAIN命令查看查询的执行计划，确认LIMIT是在子查询阶段执行还是关联之后执行：

EXPLAIN 
select A2.customerid 
from (SELECT A3.customerid FROM b1traderecords A3 WHERE A3.customerid < 100 limit 5) A0, 
(select customerid from b3customerinfo where customerrating > 0.7) A2 
where A0.customerid = A2.customerid;

如果执行计划显示LIMIT是在关联操作之后才被应用，那说明优化器改写了逻辑，这时候需要用下面的方法强制子查询先执行。

步骤3：用CTE强制子查询物化 #

Redshift中的CTE（公共表表达式）默认会被物化（即先执行并存储结果），可以用CTE来确保A0子查询先执行并得到确定的结果，再进行关联：

WITH A0 AS (
    SELECT A3.customerid 
    FROM b1traderecords A3 
    WHERE A3.customerid < 100 
    ORDER BY A3.customerid 
    LIMIT 5
)
select A2.customerid 
from A0
join (select customerid from b3customerinfo where customerrating > 0.7) A2 
on A0.customerid = A2.customerid;

步骤4：验证数据一致性 #

检查b1traderecords表中是否存在customerid=9和customerid=90且满足customerid < 100的记录：

SELECT customerid FROM b1traderecords WHERE customerid IN (9,90) AND customerid < 100;

如果存在这些记录，就进一步验证了「无ORDER BY的LIMIT返回结果不确定」的推测——关联查询时子查询确实返回了这些值。

总结 #

这种异常结果几乎都是因为无ORDER BY的LIMIT导致的结果不确定性，或者Redshift优化器调整了执行顺序，并非Redshift的bug。通过添加ORDER BY、使用CTE强制子查询物化，就能解决这个问题。

内容的提问来源于stack exchange，提问作者junhliu