如何按元素出现频次对collect_set的返回结果进行排序

你提到的先调用collect_list再计数的思路是可行的，但存在更高效的实现方式，不需要全量收集列表后再做统计：

核心逻辑 #

collect_set返回结果时已经丢失了元素出现频次的原始信息，所以无法直接对其结果按频次排序。正确的做法是先统计每个分组下目标值的出现频次，排序后再聚合为数组即可。

推荐实现（以Spark SQL/Hive SQL为例） #

假设你的表为source_table，分组字段为group_id，需要统计热度的字段为target_column，实现代码如下：

SELECT
  group_id,
  collect_list(target_column) AS hot_value_array
FROM (
  -- 第一层分组统计每个目标值的出现频次
  SELECT
    group_id,
    target_column,
    COUNT(1) AS frequency
  FROM source_table
  GROUP BY group_id, target_column
  -- 按频次降序排序，相同频次可自定义补充其他排序规则
  ORDER BY group_id, frequency DESC, target_column
) t
GROUP BY group_id

方案优势 #

• 第一层分组直接完成去重和频次统计，不需要全量收集原始数据，大数据量下性能远高于先collect_list再处理的方式，不会出现内存占用过高的问题
• 外层collect_list会保留内层查询的排序结果，不需要额外调用排序函数

小数据量下的collect_list实现方案 #

如果你的场景数据量极小，也可以通过高阶函数直接处理collect_list的返回结果：

SELECT
  group_id,
  array_sort(
    -- 统计每个元素的出现频次
    aggregate(
      collect_list(target_column),
      map(),
      (acc, val) -> map_concat(acc, map(val, coalesce(acc[val], 0) + 1))
    ),
    -- 按频次倒序排序
    (a, b) -> b.value - a.value
  ).key AS hot_value_array
FROM source_table
GROUP BY group_id

扩展需求 #

如果需要取热度Top N的元素，直接对结果数组做截断即可，比如取Top 5：

slice(collect_list(target_column), 1, 5) AS top5_hot_array

内容的提问来源于stack exchange，提问作者devnotdev