PySpark/SparkSQL如何格式化输出嵌套STRUCT类型的address字段

首先明确：explode 函数仅适用于 ARRAY、MAP 类型字段的展开操作，STRUCT 嵌套结构体可直接通过点语法访问内部子字段，无需调用 explode，自然也不会出现类型不匹配报错。

实现方案 #

方案1：PySpark DataFrame API（withColumn 方式，符合你的需求） #

直接访问 struct 各层子字段，通过字符串拼接函数生成格式化地址即可，推荐使用concat_ws兼容空值场景（某个子字段为空时不会导致整个地址返回null）：

from pyspark.sql import functions as F

# 假设你已经完成了DataFrame的创建，变量名为df
df = df.withColumn(
    "address",
    F.concat_ws(
        ", ",
        # 拼接门牌号和道路
        F.concat(F.col("address.number").cast("string"), F.lit(" "), F.col("address.road")),
        # 城市名
        F.col("address.city.name"),
        # 邮编
        F.col("address.city.postcode").cast("string")
    )
)

# 执行打印验证
df.show(truncate=False)

如果不需要兼容空值，直接用concat函数也可以实现。

方案2：SparkSQL 方式 #

如果你更习惯写SQL语句，也可以通过临时表查询实现：

-- 先注册临时表
df.createOrReplaceTempView("user_info")

-- 执行查询格式化address字段
result_df = spark.sql("""
SELECT
    id,
    name,
    CONCAT_WS(', ', CONCAT(CAST(address.number AS STRING), ' ', address.road), address.city.name, CAST(address.city.postcode AS STRING)) AS address,
    numbers
FROM user_info
""")

result_df.show(truncate=False)

两种方案执行后都可以得到你预期的输出结果。

内容的提问来源于stack exchange，提问作者mo1010