Hive中如何对比两张同构表的行数据差异 高效获取变更内容

核心思路 #

基于主键做FULL JOIN关联两张表，在关联阶段直接过滤掉完全无变化的行，仅针对新增、删除、字段变更的行做后续处理，避免全量数据聚合运算，大幅降低计算开销。

基础实现（直接输出新旧版本变更行对比） #

针对你给出的id、name、email三列的示例表，可直接执行以下SQL：

SELECT 
  'V1' AS version, t1.*
FROM `Table-1` t1
LEFT JOIN `Table-2` t2 ON t1.id = t2.id
WHERE t2.id IS NULL -- 筛选V1存在、V2删除的记录
   OR NOT (t1.name <=> t2.name AND t1.email <=> t2.email) -- 筛选字段有变更的V1记录
UNION ALL
SELECT 
  'V2' AS version, t2.*
FROM `Table-2` t2
LEFT JOIN `Table-1` t1 ON t2.id = t1.id
WHERE t1.id IS NULL -- 筛选V2新增的记录
   OR NOT (t1.name <=> t2.name AND t1.email <=> t2.email) -- 筛选字段有变更的V2记录
ORDER BY id, version;

执行后会直接输出变更行的两个版本数据，你的示例输出如下：

完全符合你要直观对比变动的需求。

进阶实现（直接展示变更字段） #

如果需要直接标记出哪些字段发生了变更，无需人工逐列核对，可使用以下SQL：

SELECT
  t1.id,
  CASE WHEN NOT t1.name <=> t2.name THEN CONCAT('旧值：', t1.name, ' → 新值：', t2.name) ELSE '无变更' END AS name_diff,
  CASE WHEN NOT t1.email <=> t2.email THEN CONCAT('旧值：', t1.email, ' → 新值：', t2.email) ELSE '无变更' END AS email_diff
FROM `Table-1` t1
INNER JOIN `Table-2` t2 ON t1.id = t2.id
WHERE NOT (t1.name <=> t2.name AND t1.email <=> t2.email)
-- 如需包含新增/删除记录，可补充对应UNION ALL分支逻辑

你的示例输出如下：

性能优化说明 #

• 该方案仅对两张表各扫描1次，相比原UNION ALL方案省去了全量数据聚合、全量人工核对的开销，数据量越大性能优势越明显，如果仅1%的行有变动，计算量可直接降低99%
• 若表字段较多，可直接查询Hive元数据批量生成字段比对逻辑，无需手动逐列编写
• 可给关联主键id设置分桶或索引，进一步提升JOIN效率；如有分区字段，可增加分区过滤条件，仅比对需要的时间范围数据，避免全表扫描

注意：Hive中<=>是安全等于操作符，可正确处理NULL值的比对场景，避免NULL值导致的判断错误。

内容的提问来源于stack exchange，提问作者Chintu Karthi