Azure Synapse无服务器SQL池与Apache Spark池查询结果差异原因咨询

在Azure Synapse环境中执行以下SQL查询时，无服务器SQL池与Apache Spark池返回结果不一致：

SELECT DISTINCT a.description, b.description, c.description
FROM main_table as main
LEFT JOIN (
            SELECT DISTINCT key_1, key_2, key_3, key_4, key_5, foreign_key_table_b, foreign_key_table_c, description
            FROM table_a
           ) a
ON main.key_1 = a.key_1 AND main.key_2 = a.key_2 AND main.key_3 = a.key_3 AND main.key_4 = a.key_4 AND main.key_5 = a.key_5
LEFT JOIN table_b as b ON main.key_1 = b.key_1 AND main.key_2 = b.key_2 AND main.key_3 = b.key_3 AND a.foreign_key_table_b = b.foreign_key_table_b
LEFT JOIN table_c as c on main.key_1 = c.key_1 and main.key_2 = c.key_2 and main.key_3 = c.key_3 AND main.key_6 = c.key_6 AND a.foreign_key_table_c = c.foreign_key_table_c

由于table_a包含table_b和table_c的外键，需先将其与main_table关联，才能进一步关联table_b和table_c。以下是导致两种池结果差异的核心原因：

1. NULL值处理机制差异 #

这是最常见的诱因。当main_table与table_a左连接无匹配记录时，a.foreign_key_table_b和a.foreign_key_table_c会返回NULL：

• 无服务器SQL池严格遵循ANSI SQL标准，NULL与任何值（包括NULL）比较都会返回UNKNOWN，因此后续与table_b、table_c的连接条件不成立，对应表的字段会返回NULL。
• Spark SQL若未开启spark.sql.ansi.enabled=true，会将NULL=NULL视为true，这会导致原本不匹配的连接被误匹配，从而返回更多非NULL的b.description或c.description，最终结果集出现差异。

2. 连接执行计划的优先级差异 #

两个引擎的查询优化器对连接顺序的处理逻辑不同：

• 无服务器SQL池会严格遵循SQL语句的逻辑顺序，先完成main_table与table_a的左连接，再基于a的结果关联table_b和table_c。
• Spark的优化器可能为了性能重排连接顺序，若提前将table_b/table_c与main_table做关联，会打破“先关联table_a”的依赖逻辑，引入额外的匹配记录，导致结果不一致。

3. DISTINCT的执行逻辑差异 #

子查询和外层的DISTINCT在两个引擎中的执行时机与逻辑不同：

• 无服务器SQL池会先执行子查询内的DISTINCT去重，再完成所有连接，最后对最终结果集去重。
• Spark可能在连接阶段就提前对中间结果做去重，或者对DISTINCT的处理规则更宽松，导致最终去重后的结果与无服务器SQL池不一致。

4. 数据类型隐式转换差异 #

若关联字段（如key_1、foreign_key_table_b等）在不同表中数据类型不一致：

• 无服务器SQL池会严格要求类型匹配，不匹配则无法关联。
• Spark会自动进行隐式类型转换，可能将原本不匹配的字段视为匹配，从而产生不同的关联结果。

内容的提问来源于stack exchange，提问作者Psychotechnopath