PySpark中如何将多列拼接后以字典格式存入单列

不要通过先拼接字符串再转格式的思路实现需求，PySpark内置了直接生成Map类型（对应Python字典结构）的专用函数，全程不需要做字符串格式解析，稳定性更高、不会出现类型丢失或转义报错。

推荐实现方案（PySpark 2.4及以上版本可用） #

直接使用内置函数create_map生成字典列，该函数接收交替排列的「键名、键值」作为参数，输出结果就是标准的Map类型列，在Python端读取时直接返回字典对象。

• 固定列手动指定键名的实现代码：

from pyspark.sql.functions import create_map, lit

# 示例场景：将col1、col2、col3三列合并为字典列，对应字典键分别为"field_a"、"field_b"、"field_c"
df = df.withColumn(
    "dict_column",
    create_map(
        lit("field_a"), df.col1,
        lit("field_b"), df.col2,
        lit("field_c"), df.col3
    )
)

• 动态批量合并多列（自动以原列名作为字典键）的实现代码：

from pyspark.sql.functions import create_map, lit

# 指定需要合并进字典的列名列表即可，不需要逐列手动编写
target_columns = ["col1", "col2", "col3", "col4"]
map_args = []
for col_name in target_columns:
    map_args.append(lit(col_name))  # 字典键：列名
    map_args.append(df[col_name])   # 字典值：对应列的行值

df = df.withColumn("dict_column", create_map(*map_args))

已拼接字符串列转字典的兼容方案 #

如果你已经完成了多列拼接为字符串的步骤，且拼接结果是严格符合JSON规范的字典格式字符串，可以通过from_json函数指定Map类型Schema做解析，不推荐优先使用该方案——一旦字符串存在引号不匹配、特殊字符未转义、值类型不匹配的问题，解析结果会直接返回null。
示例代码：

from pyspark.sql.functions import from_json
from pyspark.sql.types import MapType, StringType

# 假设已有的拼接字符串列名为concat_result，存储格式为'{"key1":"val1","key2":"val2"}'
df = df.withColumn(
    "dict_column",
    from_json(
        df.concat_result,
        MapType(StringType(), StringType())  # 可根据实际值的类型调整Schema，比如值是数值就换IntegerType
    )
)

内容的提问来源于stack exchange，提问作者Sanni Gupta