PySpark如何将ARRAY<MAP<STRING,STRING>>类型转为字符串类型？

问题原因 #

concat_ws函数要求第二个参数是ARRAY<STRING>或STRING类型，但你的_2列是ARRAY<MAP<STRING,STRING>>，直接传入会因类型不匹配报错。必须先将数组中的每个Map元素转换为字符串，再进行拼接。

解决方案 #

通过transform函数遍历数组中的每个Map，提取key和value字段的值拼接成单个字符串，再用concat_ws将这些字符串连接起来。

完整代码示例 #

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, concat_ws, transform, concat, lit

# 初始化SparkSession
spark = SparkSession.builder.appName("ArrayMapToString").getOrCreate()

# 构造原始数据
dataDictionary = [
    ('value1', [{'key': 'Fruit', 'value': 'Apple'}, {'key': 'Colour', 'value': 'White'}]), 
    ('value2', [{'key': 'Fruit', 'value': 'Mango'}, {'key': 'Bird', 'value': 'Eagle'}, {'key': 'Colour', 'value': 'Black'}])
] 

df = spark.createDataFrame(data=dataDictionary)

# 转换数组中的Map为字符串并拼接
df_transformed = df.withColumn(
    "_2",
    concat_ws(",", 
        transform(
            col("_2"),
            lambda m: concat(m["key"], lit(":"), m["value"])
        )
    )
)

# 查看结果
df_transformed.printSchema()
df_transformed.show(truncate=False)

输出结果 #

• Schema信息：

root
 |-- _1: string (nullable = true)
 |-- _2: string (nullable = true)

• 数据内容：

+------+-------------------------------+
|_1    |_2                             |
+------+-------------------------------+
|value1|Fruit:Apple,Colour:White       |
|value2|Fruit:Mango,Bird:Eagle,Colour:Black|
+------+-------------------------------+

扩展说明 #

如果你的Map结构不是固定的key和value字段（比如每个Map包含多个键值对），可以用map_entries遍历每个Map的键值对：

from pyspark.sql.functions import map_entries

df_transformed = df.withColumn(
    "_2",
    concat_ws(",", 
        transform(
            col("_2"),
            lambda m: concat_ws(":", map_entries(m)[0].key, map_entries(m)[0].value)
        )
    )
)

内容的提问来源于stack exchange，提问作者Jim Macaulay