PySpark：如何对含两元素的结构体数组按score排序并取Top10 toID

核心操作步骤 #

• 展开数组列：将node数组中的每个struct元素拆分为单独行，才能对内部的score和toID进行独立操作。
• 转换字段类型：原score为字符串类型，必须转为数值类型（如int），否则会出现字符串排序的逻辑错误。
• 排序取数：按转换后的score排序，再选取前10个toID。

代码实现 #

from pyspark.sql.functions import explode, col

# 假设你的数据源DataFrame名为df
# 1. 展开node数组，提取每个struct元素
df_exploded = df.select(explode(col("node")).alias("node_item"))

# 2. 提取toID并将score转为整数类型
df_clean = df_exploded.select(
    col("node_item.toID").alias("toID"),
    col("node_item.score").cast("int").alias("score")
)

# 3. 按score降序排序，取前10个toID（如需升序替换desc()为asc()）
top_10_toids = df_clean.orderBy(col("score").desc()).limit(10).select("toID")

# 若需去重（避免同一toID重复出现），可在排序前添加去重步骤
# top_10_toids = df_clean.dropDuplicates(["toID"]).orderBy(col("score").desc()).limit(10).select("toID")

# 输出结果
top_10_toids.show()

关键注意事项 #

• 务必转换score的类型：字符串类型的数值排序会按字符顺序比较（例如"100"会排在"99"之前），转为数值类型才能实现正确的大小排序。
• 去重逻辑可选：如果业务允许同一toID多次出现在结果中，可以跳过dropDuplicates步骤；若需唯一的toID，则保留该步骤。

内容的提问来源于stack exchange，提问作者ssD