Spark3.2下如何将OrderedDict转为PySpark MapType？报错求助

错误原因 #

Spark 3.2版本的create_map函数不接受列表作为参数，它需要交替传入键、值对应的Column对象，而非将所有键、所有值分别打包成两个列表传入。你原代码中传入的两个列表不符合函数参数要求，因此触发TypeError。

修正方案 #

将OrderedDict的键值对展开为扁平的、交替的lit列列表，再通过*解包后传入create_map：

from pyspark.sql.functions import create_map, lit
from collections import OrderedDict
from pyspark.sql import SparkSession

# 示例有序字典
ordered_dict = OrderedDict([('a', 1), ('b', 2), ('c', 3)])

# 展开键值对为交替的lit列，解包后传入create_map
map_column = create_map(*[lit(item) for pair in ordered_dict.items() for item in pair])

# 验证转换效果
spark = SparkSession.builder.appName("OrderedDictToMap").getOrCreate()
df = spark.createDataFrame([(1,)], ["id"])
df.withColumn("ordered_map", map_column).show(truncate=False)

补充说明 #

• *运算符会将列表中的元素逐个传入create_map，最终等价于create_map(lit('a'), lit(1), lit('b'), lit(2), lit('c'), lit(3))，完全符合函数参数要求。
• Spark 3.0及以上版本的MapType会保留插入顺序，因此转换后的Map列会和原OrderedDict的键值顺序一致。

内容的提问来源于stack exchange，提问作者Apoorv