HiveQL如何筛选每组中Count值最大的行？

这是个很常见的分组取Top1需求，在Hive里有几种简洁的实现方式，我给你详细说两种最常用的：

方法一：使用窗口函数（推荐） #

窗口函数是处理这类分组排序需求的最优解，代码简洁且性能更优。我们可以用ROW_NUMBER()给每个分组内的行按Count降序编号，然后筛选出编号为1的行：

SELECT ItemX, ItemXX, Count
FROM (
    SELECT 
        ItemX, 
        ItemXX, 
        Count,
        -- 按ItemX分组，组内按Count降序排列并生成序号
        ROW_NUMBER() OVER (PARTITION BY ItemX ORDER BY Count DESC) AS row_num
    FROM your_table_name -- 替换成你的实际表名
) ranked_data
WHERE row_num = 1;

补充说明： #

• 如果你的数据中同一个ItemX下有多个行的Count值相同且都是最大值，ROW_NUMBER()只会随机保留其中一行。要是想把所有最大值的行都保留，可以把ROW_NUMBER()换成RANK()或者DENSE_RANK()，这两个函数会给相同最大值的行都标记为序号1。

方法二：聚合后关联查询 #

如果暂时不太熟悉窗口函数，也可以先通过聚合得到每个ItemX的最大Count，再和原表关联匹配：

SELECT t1.ItemX, t1.ItemXX, t1.Count
FROM your_table_name t1
INNER JOIN (
    -- 先计算每个ItemX的最大Count
    SELECT ItemX, MAX(Count) AS max_count
    FROM your_table_name
    GROUP BY ItemX
) t2 
ON t1.ItemX = t2.ItemX AND t1.Count = t2.max_count;

补充说明： #

这种方法会返回所有Count等于分组最大值的行，和用RANK()的效果一致，但在数据量较大时，关联操作的性能通常不如窗口函数。

内容的提问来源于stack exchange，提问作者alex-arkhipov