PySpark中如何合并映射数组为单映射？排除UDF与map_concat

需求说明 #

需要将DataFrame中所有行的映射（Map类型）合并为单个映射，并关联到指定ID的行中，要求不使用UDF且不依赖map_concat方法。

输入数据 #

期望输出 #

解决方案 #

可以通过拆分映射键值对+全局收集+重构映射+关联指定ID的方式实现，具体步骤如下：

1. 拆分所有行的映射为键值对条目，使用explode展开Map类型列
2. 收集所有键值对到一个全局数组
3. 用map_from_entries将数组转换为合并后的完整映射
4. 将合并后的映射关联到目标ID的行中

代码实现 #

from pyspark.sql import SparkSession
from pyspark.sql.functions import explode, collect_list, map_from_entries, struct

# 初始化SparkSession
spark = SparkSession.builder.appName("MergeMaps").getOrCreate()

# 创建输入DataFrame
data = [(1, {"k1": "v1"}), (2, {"k2": "v2"})]
df = spark.createDataFrame(data, ["id", "value"])

# 拆分映射为键值对并收集所有条目
all_entries = df.select(explode("value").alias("key", "val")) \
                .agg(collect_list(struct("key", "val")).alias("entries"))

# 将条目数组转为合并后的Map，关联到指定ID行
result_df = df.filter(df.id == 1) \
              .crossJoin(all_entries) \
              .select("id", map_from_entries("entries").alias("value"))

# 展示结果
result_df.show(truncate=False)

代码解释 #

• explode("value")：将每行的Map拆分为独立的键值对行
• collect_list(struct("key", "val"))：收集所有键值对为结构体数组，再通过map_from_entries转换为完整Map
• crossJoin：将合并后的Map与目标ID的行关联，确保指定ID行拥有完整映射
• 若需动态指定目标ID，可将df.id == 1替换为变量或参数逻辑

内容的提问来源于stack exchange，提问作者UC57