Spark SQL自定义排序：指定列值顺序排序及field()等价实现方法

嘿，这两个Spark SQL自定义排序的问题我太熟了，日常做数据处理经常碰到，给你详细拆解下～

Spark SQL里实现自定义排序有几种常用方案，你可以根据场景选择：

• case when映射排序权重：最通用的方法，给每个需要排序的字段值分配一个数字优先级，然后按这个优先级排序。适合排序规则简单、固定的场景。
• 自定义UDF：如果排序逻辑特别复杂（比如需要结合多个字段、字符串处理或者业务规则计算），可以写个UDF返回每个值的排序权重，再基于这个权重排序。不过要注意，UDF的性能不如内置函数，能不用就尽量用内置函数组合替代。
• array_position函数（Spark 2.4+）：这是更简洁的方式，本质是利用数组中元素的位置作为排序依据，后面第二个问题会具体讲这个方法的用法。

答案是肯定的，Spark SQL有等价于传统SQL field()的实现，而且有几种方法能实现你要的排序：

方法一：使用array_position（推荐，Spark 2.4及以上） #

这个函数完美对应MySQL等数据库里的field()功能，你只需要把想要的排序顺序放进一个数组，用array_position获取每个值在数组中的位置，按这个位置排序就行。示例代码：

SELECT col_name
FROM your_table
ORDER BY array_position(array('c', 'a', 'b'), col_name)

这样c会排在第1位，a第2，b第3，完全符合你的需求。如果有不在数组里的值，array_position会返回0，这些值会排在最前面，你可以加个NULLS LAST或者调整else逻辑来控制。

方法二：case when映射权重（兼容低版本Spark） #

如果你的Spark版本低于2.4，不支持array_position，就用这个经典方案：

SELECT col_name
FROM your_table
ORDER BY 
  CASE col_name
    WHEN 'c' THEN 1
    WHEN 'a' THEN 2
    WHEN 'b' THEN 3
    ELSE 4 -- 把其他未定义的值放在最后
  END

方法三：映射表关联排序（适合复杂/动态规则） #

如果排序规则需要经常变动，或者要排序的维度很多，可以建一个小的映射表，存储值和对应的排序优先级，然后通过关联实现排序：

WITH sort_mapping AS (
  SELECT 'c' AS val, 1 AS sort_order UNION ALL
  SELECT 'a' AS val, 2 AS sort_order UNION ALL
  SELECT 'b' AS val, 3 AS sort_order
)
SELECT t.col_name
FROM your_table t
LEFT JOIN sort_mapping m ON t.col_name = m.val
ORDER BY m.sort_order

补充下：传统SQL的field()函数核心就是指定字段值的自定义排序顺序，Spark SQL的array_position完全能达到同样的效果，而且更灵活——你甚至可以用动态生成的数组，或者从其他表读取排序规则来构建数组。

内容的提问来源于stack exchange，提问作者user14549474