如何用PySpark从字符串列生成MapType列？现有方法存在问题

你的问题出在使用explode会将每行数据拆分为多行单键值对，而create_map仅能生成包含单个键值的Map，无法保留原行的完整键值集合。要直接将整行转换为完整MapType列，无需拆分行，可通过以下步骤实现：

步骤说明 #

1. 拆分键值对数组：用split将data列按空格分割为单个键值对的数组
2. 转换为键值对结构：用transform遍历数组，将每个键值对按冒号拆分为struct(key, value)
3. 生成完整Map：用map_from_entries将键值对数组转换为MapType列

完整代码 #

import pyspark.sql.functions as f

df = df.withColumn(
    "map_col",
    f.map_from_entries(
        f.transform(
            f.split(f.col("data"), " "),
            lambda x: f.struct(
                f.trim(f.split(x, ":").getItem(0)).alias("key"),
                f.trim(f.split(x, ":").getItem(1)).alias("value")
            )
        )
    )
)

代码解释 #

• split(f.col("data"), " ")：将data列拆分为["VER:some_ver", "DLL:some_dll", ...]这样的数组
• transform(...)：遍历数组中的每个键值对，将其拆分为包含key和value的结构体，同时用trim去除可能的空格
• map_from_entries(...)：将结构体数组直接转换为MapType，每个结构体的key作为Map的键，value作为对应的值

这样处理后，每一行都会保留原有的所有键值对，生成一个包含完整键值集合的Map列，不会改变原数据的行数。

内容的提问来源于stack exchange，提问作者Arpan Sarkar