如何查询筛选无历史交易记录的数据 附查询结果与预期结果示例

核心判定逻辑：筛选sku + barcode维度下，不存在早于当前load_dt的历史记录的条目，即仅首次出现在最新数据批次中的记录。

方法1：NOT EXISTS 子查询（全SQL引擎兼容） #

SELECT t1.sku, t1.barcode, t1.details, t1.load_dt
FROM 你的业务表 t1
WHERE NOT EXISTS (
    SELECT 1
    FROM 你的业务表 t2
    WHERE t2.sku = t1.sku
      AND t2.barcode = t1.barcode
      AND t2.load_dt < t1.load_dt
)

方法2：窗口函数统计（支持MySQL 8.0+、PostgreSQL、Hive、Spark SQL等主流新SQL引擎） #

SELECT sku, barcode, details, load_dt
FROM (
    SELECT
        *,
        COUNT(*) OVER (PARTITION BY sku, barcode) AS group_record_total
    FROM 你的业务表
) temp
WHERE group_record_total = 1

特殊场景适配 #

如果业务中允许同一sku + barcode在同一天存在多条重复记录，仅需要排除历史日期存在的条目，可将窗口函数中的COUNT(*)修改为COUNT(DISTINCT load_dt)即可。

内容的提问来源于stack exchange，提问作者Efren Caballes