Spark中用字典类型值更新DataFrame列的问题及解决方案

错误原因 #

Spark的lit()仅支持基本数据类型（字符串、数字、布尔值等），无法直接处理字典（HashMap）这类复杂类型，因此抛出Unsupported literal type错误。

替代方案 #

方案1：将字典转为JSON字符串存储

先把字典序列化为JSON字符串，用lit()传入，后续可按需解析为Map类型：

import json
from pyspark.sql import functions as func

for x in tmp_list:
    name = x.get('name')
    value = x.get('value')
    # 字典转JSON字符串
    json_value = json.dumps(value)
    df = df.withColumn(name, func.lit(json_value))

# 如需解析为Spark Map类型（示例：键为字符串，值为长整型）
from pyspark.sql.types import MapType, StringType, LongType
target_schema = MapType(StringType(), LongType())
df = df.withColumn(name, func.from_json(func.col(name), target_schema))

适合需要先存储原始字典结构，后续再按需解析的场景。

方案2：直接构造Spark Map类型列

利用create_map()函数，将字典的键值对转为lit(key)和lit(value)的序列，直接生成Spark原生支持的Map类型列：

from pyspark.sql import functions as func

for x in tmp_list:
    name = x.get('name')
    value = x.get('value')
    # 构造create_map所需的参数列表
    map_entries = []
    for k, v in value.items():
        map_entries.extend([func.lit(k), func.lit(v)])
    # 创建Map类型列
    df = df.withColumn(name, func.create_map(*map_entries))

适合需要直接在DataFrame中操作字典内容（如按key取值）的场景，无需额外解析。

方案3：拆分字典为单独列（适用于固定结构字典）

如果字典的key是固定的，可以直接提取对应值生成单独的列：

from pyspark.sql import functions as func

for x in tmp_list:
    name = x.get('name')
    value = x.get('value')
    # 提取字典中的特定key作为列（示例：提取updated_at）
    df = df.withColumn(f"{name}_updated_at", func.lit(value.get('updated_at')))

适合字典结构固定，仅需要其中部分字段的场景。

内容的提问来源于stack exchange，提问作者Satyaki Das