如何从PySpark DataFrame两列生成字典？有无无循环高效方法？

需求说明 #

从PySpark DataFrame的keys和vals两列生成字典，其中keys列的内容作为字典的键，对应行的vals值组成列表作为键的值。示例如下：
输入DataFrame：

期望输出字典：

final_dict = {
   "203": [4, 3, 6],
   "412": [33, 123]
}

无需循环的高效实现方法 #

完全不需要手动循环，以下两种方案都是更高效的实现方式：

方案1：Spark原生分布式聚合（推荐大数据场景）

利用Spark的groupBy+collect_list做分布式聚合，再通过RDD的collectAsMap()直接生成字典：

from pyspark.sql import functions as F

# 假设df为目标PySpark DataFrame
aggregated_df = df.groupBy("keys").agg(F.collect_list("vals").alias("vals_list"))
final_dict = aggregated_df.rdd.collectAsMap()

该方案全程在Spark分布式集群中处理数据聚合，避免将全量数据拉到本地，性能最优，适合大规模数据集。

方案2：转Pandas DataFrame处理（适合小数据集）

如果数据量较小，可以先将聚合后的Spark DataFrame转为Pandas DataFrame，再利用Pandas内置方法生成字典：

from pyspark.sql import functions as F

aggregated_pd_df = df.groupBy("keys").agg(F.collect_list("vals")).toPandas()
final_dict = aggregated_pd_df.set_index("keys")["collect_list(vals)"].to_dict()

此方案代码简洁，但会将数据拉到本地节点，仅适合小体量数据。

循环是否必要？ #

完全没必要。手动循环需要将全量DataFrame数据拉到本地逐行处理，不仅效率极低，还容易因数据量过大导致本地内存溢出。上述两种方案均依赖Spark或Pandas的内置优化逻辑，性能远优于手动循环。

内容的提问来源于stack exchange，提问作者dawid2312