如何将PySpark中类字典格式的字符串列转换为MapType对象

内置函数经过Spark引擎原生优化，性能远高于自定义UDF，无需额外的跨进程序列化开销，适合处理大规模数据集。

实现步骤 #

你存储的字典字符串用单引号包裹键值，不符合标准JSON的双引号要求，因此先做字符替换再解析即可：

1. 把原始列中的所有单引号替换为双引号
2. 定义Map类型schema，调用from_json函数直接解析为原生MapType对象

代码示例 #

# 导入依赖
from pyspark.sql import functions as F
from pyspark.sql.types import MapType, IntegerType, StringType

# 假设你的原始字典字符串列名为dict_str
df = df.withColumn("replaced_str", F.regexp_replace("dict_str", "'", "\"")) \
       .withColumn("map_col", F.from_json(
           F.col("replaced_str"),
           schema=MapType(IntegerType(), StringType())
       ))

解析完成后直接调用explode即可拆分键值对为单独行：

df_exploded = df.select("*", F.explode("map_col").alias("map_key", "map_value"))

补充：ast.literal_eval UDF方案（不推荐） #

你之前使用UDF返回字符串的原因是没有显式指定UDF的返回类型，PySpark默认会将Python字典返回值序列化为字符串存储。仅当你有特殊的自定义解析逻辑时可以用该方案，性能比内置方案低3~10倍：

import ast
from pyspark.sql.functions import udf

# 显式声明返回类型为MapType
@udf(returnType=MapType(IntegerType(), StringType()))
def str_to_map(dict_str):
    return ast.literal_eval(dict_str)

df = df.withColumn("map_col", str_to_map("dict_str"))

内容的提问来源于stack exchange，提问作者user15803585