PySpark中创建map列时如何保留键值对的原有数据类型

架构老林

2026-9-29

问题根因

PySpark 中MapType的设计要求同个Map列下的所有value必须为相同数据类型。你在create_map中同时传入了字符串类型的col1和整数类型的col2/col3，Spark会自动做隐式类型提升，将所有值统一转换为兼容性最高的StringType，这是你之前方案失败的核心原因。

最优解决方案（无需UDF，性能最优）

你的最终需求是输出保留原始类型的JSON结构，完全不需要绕Map类型的实现，直接用StructType+to_json即可实现，原生函数性能远高于自定义UDF：

from pyspark.sql.types import StructType, StructField, StringType, IntegerType
from pyspark.sql.functions import to_json, struct, col

# 定义struct结构，明确每个字段的类型，避免隐式转换
target_struct_schema = StructType([
    StructField("col1", StringType()),
    StructField("col2", IntegerType()),
    StructField("col3", IntegerType())
])

df = df.withColumn(
    "json_col",
    to_json(
        struct(
            col("col1"),
            col("col2").cast(IntegerType()),
            col("col3").cast(IntegerType())
        ).cast(target_struct_schema)
    )
)

输出的JSON结构会自动保留原始类型：{"col1":"Hello","col2":25,"col3":56}，完全符合预期。

原有方案失败原因说明

方案1：map_concat合并不同value类型的Map时，Spark依然会做隐式类型提升，最终所有值统一转为StringType
方案2：你给UDF指定的返回类型为MapType(StringType(),StringType())，即便UDF内部通过json.loads得到了整数类型的值，返回时也会被Spark强制转换为字符串类型。