如何用Hive查询实现不同Schema下同名表的行数对比？

嘿，这个需求其实挺容易实现的，核心思路就是分别统计两个Schema下同名表的行数，再把结果按你要的格式拼接起来。我分两种情况给你举例：

单个同名表的对比 #

假设你的两个Schema分别是schema_a和schema_b，目标表是users，直接用下面的SQL就能得到你要的格式：

SELECT CONCAT('users : ', cnt_schema_a, ' : ', cnt_schema_b) AS count_comparison
FROM (
    -- 统计第一个Schema下的行数
    SELECT COUNT(*) AS cnt_schema_a FROM schema_a.users
) t1
-- 交叉连接第二个Schema的统计结果（因为每个子查询只有一行，交叉连接会把两个结果合并到一行）
CROSS JOIN (
    SELECT COUNT(*) AS cnt_schema_b FROM schema_b.users
) t2;

执行后会返回一行结果，格式就是users : 1000 : 998这样的。

多个同名表批量对比 #

如果要同时对比多张表（比如users、orders、products），只需要用UNION ALL把每个表的查询结果合并起来就行：

-- 对比users表
SELECT CONCAT('users : ', cnt_a, ' : ', cnt_b) AS count_comparison
FROM (SELECT COUNT(*) AS cnt_a FROM schema_a.users) t1
CROSS JOIN (SELECT COUNT(*) AS cnt_b FROM schema_b.users) t2
UNION ALL
-- 对比orders表
SELECT CONCAT('orders : ', cnt_a, ' : ', cnt_b) AS count_comparison
FROM (SELECT COUNT(*) AS cnt_a FROM schema_a.orders) t1
CROSS JOIN (SELECT COUNT(*) AS cnt_b FROM schema_b.orders) t2
UNION ALL
-- 对比products表
SELECT CONCAT('products : ', cnt_a, ' : ', cnt_b) AS count_comparison
FROM (SELECT COUNT(*) AS cnt_a FROM schema_a.products) t1
CROSS JOIN (SELECT COUNT(*) AS cnt_b FROM schema_b.products) t2;

这样执行后会返回三行结果，每行对应一张表的行数对比。

注意事项 #

• 确保两个Schema下确实存在对应的同名表，不然查询会抛出表不存在的错误；
• COUNT(*)会统计表中所有行（包括包含NULL值的行），如果需要排除特定NULL场景，可以换成COUNT(列名)，但一般行数统计用COUNT(*)就足够了。

内容的提问来源于stack exchange，提问作者Kshitij Kohli