如何高效将分组后的PySpark DataFrame转换为字典（无需转Pandas）

需求回顾 #

现有PySpark DataFrame：

需转换为目标字典：

dict1 = {'1':['value-1','value-2','value-3'], '2':['value-1','value-2']}

简洁高效实现 #

直接使用PySpark原生的分组聚合+字典推导式，无需依赖Pandas，步骤如下：

1. 导入聚合函数

from pyspark.sql.functions import collect_list

2. 聚合+转换为字典

# 假设DataFrame名为df
result_dict = {str(row.ID): row.Value_list for row in df.groupBy("ID").agg(collect_list("Value").alias("Value_list")).collect()}

关键说明 #

• groupBy("ID").agg(collect_list("Value"))：按ID分组，将每个分组下的Value字段收集为列表，这是PySpark原生的高效聚合操作，执行在分布式集群上。
• .collect()：将聚合后的结果拉取到Driver节点（注意：若数据量极大需评估Driver内存，这是原生方案中最直接的转换方式）。
• 字典推导式：遍历聚合后的每行数据，将ID转为字符串（匹配目标字典的键类型），直接生成所需结构的字典。

若原DataFrame的ID字段本身就是字符串类型，可省略str()转换，进一步简化：

result_dict = {row.ID: row.Value_list for row in df.groupBy("ID").agg(collect_list("Value").alias("Value_list")).collect()}

内容的提问来源于stack exchange，提问作者Mikesama