PySpark如何将多array列DataFrame转为每行单个值的多行结构

核心实现思路 #

利用PySpark内置的transform、concat和explode_outer函数，直接对每个数组元素做结构化映射后合并拆分，无需拆分多表或做字符串预处理，性能和可读性都更优。

完整实现代码 #

from pyspark.sql import SparkSession
from pyspark.sql import functions as F

# 构造示例数据
spark = SparkSession.builder.appName("test").getOrCreate()
data = [
    ("A", ["a", "c"], ["1", "5"]),
    ("B", ["a", "b"], None),
    ("C", [], ["1"]),
]
df = spark.createDataFrame(data, ["id", "list_a", "list_b"])

# 核心处理逻辑
result = df.select(
    "id",
    F.explode_outer(
        F.concat(
            # 处理list_a：每个元素对应第一列有值、第二列为空
            F.transform(
                F.coalesce("list_a", F.array()),
                lambda x: F.struct(x.alias("col1"), F.lit(None).alias("col2"))
            ),
            # 处理list_b：每个元素对应第二列有值、第一列为空
            F.transform(
                F.coalesce("list_b", F.array()),
                lambda x: F.struct(F.lit(None).alias("col1"), x.alias("col2"))
            )
        )
    ).alias("tmp")
).select("id", "tmp.col1", "tmp.col2")

# 输出验证
result.show()

方案优势 #

• 仅需一次数据扫描，无额外shuffle开销，性能远高于拆分多表union的方案
• 无需字符串拼接拆分操作，避免了类型转换、特殊字符冲突等问题，稳定性更强
• 扩展性好，新增待拆分的数组列仅需在concat中新增对应transform逻辑块即可
• 内置函数自动处理空数组、NULL值等边界场景，无需额外适配

内容的提问来源于stack exchange，提问作者landoooo