同结构分区表Left Join实现：比对A、B表记录并定位金额差异

针对你要比对Table A每条记录与Table B对应记录、找出amount不匹配的需求，用Left Join完全可以实现，而且结合分区键还能让查询更高效，下面是具体的实现思路和SQL示例：

核心思路 #

我们需要以Table A为左表，关联Table B中**相同vendorname、branch、region以及同分区（year/month/day）**的记录，然后筛选出两种异常情况：

• Table B中没有对应Table A的记录
• Table A和Table B的amount数值不相等

SQL实现（以Hive/Spark SQL为例） #

SELECT
    a.vendorname,
    a.branch,
    a.amount AS a_amount,
    b.amount AS b_amount,
    a.region,
    -- 自定义异常描述
    CASE
        WHEN b.amount IS NULL THEN 'No matching record in Table B'
        WHEN a.amount != b.amount THEN CONCAT('mismatch for ', a.amount, ' and ', b.amount)
    END AS mismatch_desc
FROM
    table_a a
LEFT JOIN
    table_b b
ON
    a.vendorname = b.vendorname
    AND a.branch = b.branch
    AND a.region = b.region
    -- 关联分区键，限定扫描范围，提升性能
    AND a.year = b.year
    AND a.month = b.month
    AND a.day = b.day
-- 只筛选异常记录
WHERE
    b.amount IS NULL
    OR a.amount != b.amount;

针对你的测试数据的执行结果 #

用你提供的测试数据运行上述SQL，会得到如下结果：

如果Table A存在Table B没有的记录，比如假设Table A有john,c6,200,ca，那么这条记录也会被筛选出来，对应的mismatch_desc是No matching record in Table B。

优化建议 #

因为是分区表，建议在查询时加上分区过滤条件（比如WHERE a.year = 2024 AND a.month = 10 AND a.day = 15），避免扫描所有分区，大幅提升查询速度。

内容的提问来源于stack exchange，提问作者Hadoop Developer