如何将包含year与title列的DataFrame转换为双层排序的Title列表

嘿，我有个更简洁直接的方案给你！你完全不需要用groupBy加collect_set再遍历map的复杂操作，只需要利用双层排序后直接提取数据就能得到目标列表。

用PySpark DataFrame API实现 #

from pyspark.sql import functions as F

# 1. 先给DataFrame添加title长度的辅助列
df = df.withColumn("title_length", F.length(F.col("title")))

# 2. 按year降序、title长度降序对整个DataFrame排序
sorted_df = df.orderBy(F.col("year").desc(), F.col("title_length").desc())

# 3. 提取title列并转换为列表
result_list = sorted_df.select("title").rdd.flatMap(lambda row: row).collect()

用Spark SQL实现（更直观） #

如果你习惯用SQL语法，也可以直接写查询：

SELECT title
FROM your_dataframe
ORDER BY year DESC, LENGTH(title) DESC

执行完这个查询后，把结果集中的title字段提取出来就是你要的顺序列表。

为什么这个方法更简洁？ #

这个思路直接贴合你的需求逻辑：先按年份降序分组（排序后同年份的数据自然会集中在一起），组内再按title长度降序排列，整个数据集排好序后，只需要按顺序把title取出来就行，省去了分组后再处理集合排序的额外步骤。

内容的提问来源于stack exchange，提问作者abhijeet