PySpark DataFrame如何逐行排序数组且不改变原有列顺序

PySpark 内置的array_sort函数就是专门用于逐行处理数组类型列排序的工具，不会触发整列/全表级别的排序重排，完全不会改变原有列的排列顺序和行的相对顺序，直接调用即可满足需求。

基础实现（升序排序） #

array_sort接收数组类型的列作为入参，逐行对数组内元素做升序排序，返回排序后的新数组，示例代码如下：

from pyspark.sql import SparkSession
from pyspark.sql.functions import array_sort, col

# 初始化Spark会话
spark = SparkSession.builder.appName("row-level-array-sort").getOrCreate()

# 构造测试数据集
df = spark.createDataFrame([
    (1, [19, 3]),
    (2, [27, 5, 12]),
    (3, [22, 8])
], ["row_id", "value_array"])

# 逐行对数组列排序，直接覆盖原列即可保留原有列顺序
sorted_df = df.withColumn("value_array", array_sort(col("value_array")))
sorted_df.show()

执行后输出结果如下，可以看到示例中的[19,3]已经被排序为[3,19]，列顺序、行顺序均未发生变化：

+------+-------------+
|row_id|  value_array|
+------+-------------+
|     1|      [3, 19]|
|     2| [5, 12, 27]|
|     3|     [8, 22]|
+------+-------------+

扩展场景处理 #

• 如需降序排序，搭配reverse函数即可实现：

  from pyspark.sql.functions import reverse
  sorted_desc_df = df.withColumn("value_array", reverse(array_sort(col("value_array"))))
  

• 若数组包含null值，array_sort默认会将null放在排序后数组的末尾，无需额外处理。
• 如果是数组元素为复杂结构体、需要自定义排序规则的场景，建议优先用transform+原生数组函数组合实现，自定义Python UDF的性能会比原生函数低5~10倍，非必要不使用。

注意：不要误用全局排序的orderBy/sort算子，这类算子是针对全表行做重排，无法实现行内数组排序的需求。

内容的提问来源于stack exchange，提问作者Peach