如何对比两张Hive表并查找Core表中缺失的记录

嘿，这个场景我之前帮同事处理过，刚好能给你几个实用的方案！核心思路就是找出BKP里存在但Core里没有的唯一主键组合（毕竟Core本身无重复，丢失的就是整个主键对应的记录），而且要处理BKP的重复数据，避免结果里出现冗余。

方案1：LEFT JOIN + IS NULL（通用所有数据库） #

这个方法兼容性最强，不管你用MySQL、SQL Server还是Oracle都能跑。先给BKP去重，再和Core左连接，筛选出Core那边匹配不上的记录：

SELECT DISTINCT b.field1, b.field2, b.field3, b.field4
FROM BKP b
LEFT JOIN Core c
  ON b.field1 = c.field1
  AND b.field2 = c.field2
  AND b.field3 = c.field3
  AND b.field4 = c.field4
WHERE c.field1 IS NULL;

如果需要获取这些缺失记录的完整字段（不止主键），把SELECT后面改成b.*就行，DISTINCT会帮你去掉BKP里的重复项。

方案2：EXCEPT/MINUS（适合支持该语法的数据库） #

如果你的数据库支持EXCEPT（比如SQL Server、PostgreSQL）或者MINUS（Oracle），这个方法更简洁——EXCEPT本身会自动去重，不用额外处理BKP的重复：

-- SQL Server/PostgreSQL 用EXCEPT
SELECT field1, field2, field3, field4
FROM BKP
EXCEPT
SELECT field1, field2, field3, field4
FROM Core;

-- Oracle 替换成MINUS
SELECT field1, field2, field3, field4
FROM BKP
MINUS
SELECT field1, field2, field3, field4
FROM Core;

这个查询直接返回Core缺失的所有唯一主键组合，结果干净利落。

扩展：获取缺失记录的完整数据 #

如果需要拿到这些缺失记录在BKP里的完整信息，把上面的结果作为子查询关联BKP就行：

SELECT DISTINCT b.*
FROM BKP b
INNER JOIN (
  -- 这里替换成上面任意一种方案的查询语句
  SELECT field1, field2, field3, field4
  FROM BKP
  EXCEPT
  SELECT field1, field2, field3, field4
  FROM Core
) missing_records
  ON b.field1 = missing_records.field1
  AND b.field2 = missing_records.field2
  AND b.field3 = missing_records.field3
  AND b.field4 = missing_records.field4;

内容的提问来源于stack exchange，提问作者Melz