Snowflake使用MINUS运算符比对表数据时行数结果异常排查

用户通过集合差运算校验同一张表两个日期分区的数据差异，使用的SQL如下：

SELECT * FROM TABLE_A where run_time = current_date() 
MINUS
SELECT * FROM TABLE_A where run_time = current_date()-1 

单独验证单条查询时：

• 当日数据筛选结果共3,357,210条
• 前一日数据筛选结果为0条
  按常规预期，差集结果应当和当日数据总量一致，但实际仅返回2,026,434条，存在明显数量偏差。

绝大多数情况是对MINUS运算符的标准逻辑认知偏差导致的：

• MINUS（即标准SQL中的EXCEPT）不是简单的行数相减运算，执行逻辑是：先对两个子查询的结果集分别做全字段行级去重，再返回第一个结果集中存在、但第二个结果集中不存在的唯一行集合。只有显式指定ALL参数的MINUS ALL语法，才会保留结果集内的重复行，普通不带参数的版本默认开启去重逻辑。
• 即使第二个结果集为空（本例中前一日数据为0条），MINUS依然会对第一个结果集执行自动去重操作，不会保留第一个结果集内部的重复行。
• 本例中的数值差（3,357,210 - 2,026,434 = 1,330,776），正好对应当日查询结果中全字段完全一致的重复行规模——这些重复行在去重后只保留1条，最终返回总数自然会低于原结果集的总行数。

• 会话上下文不一致：单独运行单条查询和运行完整MINUS语句时，所在数据库会话的时区配置、行级权限过滤规则、视图查询重写逻辑存在差异，导致当日查询实际被优化器改写后返回的数据集，和单跑时的数据集不一致。
• 非标准语法实现：部分数据库对MINUS做了自定义修改，可能存在列类型自动转换导致的匹配异常，但这类问题通常会直接抛出语法或类型错误，不会出现数据量偏少的静默偏差。

• 对当日数据集执行去重计数，直接核对结果是否和实际返回行数一致：
  SELECT COUNT(DISTINCT *) FROM TABLE_A WHERE run_time = current_date()
  如果计数结果为2,026,434，即可确认是MINUS自动去重导致的偏差。
• 如果需要保留所有重复行做数据差异对比，不要使用不带ALL参数的MINUS，改用LEFT JOIN/NOT EXISTS实现无去重的差集逻辑，可完全保留原始行的重复属性。

内容的提问来源于stack exchange，提问作者John Smith