PySpark DataFrame explode运行慢 嵌套数组拆行替代方案咨询

你当前写法性能极差、运行缓慢的核心原因是对数组内的每个字段单独调用explode会引发指数级的行数膨胀：

• explode的逻辑是把数组里的每个元素拆为单独一行，如果单条记录的transactions.details数组包含N个元素，对单个字段做explode会把1行拆为N行；连续对11个字段分别做explode，最终行数会变成N的11次方，不仅计算量指数级上涨，最终得到的也是字段完全错位的错误结果，根本不符合展开明细的预期。

你只需要对整个details结构体数组做一次展开操作即可，不需要逐字段explode，全程无额外笛卡尔积，性能比现有写法提升几个数量级，结果也完全匹配你的预期。

通用兼容写法（所有PySpark版本可用） #

from pyspark.sql import functions as F

# 第一步：仅对整个details数组做一次explode，将数组中每个交易明细结构体拆为单行
df_step1 = df1.withColumn("single_detail", F.explode(F.col("transactions.details")))

# 第二步：平铺字段，保留外层用户字段+明细结构体里的所有交易属性
df_result = df_step1.select(
    "userId",
    "username",
    "single_detail.expiration",
    "single_detail.externalItemId",
    "single_detail.from_sitelocationId",
    "single_detail.itemDescription",
    "single_detail.itemId",
    "single_detail.lot",
    "single_detail.ndcCode",
    "single_detail.ndcCode10Digit",
    "single_detail.ndcDesc",
    "single_detail.qty",
    "single_detail.to_sitelocationId"
    # 若需要保留transactions下的其他非明细属性，直接在列表中追加即可，例如：
    # "transactions.modifiedByUsername",
    # "transactions.transactionType",
    # "transactions.transactionTypeName"
)

display(df_result)

简洁写法（Spark 3.0+ 版本支持） #

可以直接用内置的inline函数，一步完成结构体数组的展开+字段平铺，代码更精简：

from pyspark.sql import functions as F

df_result = df1.select(
    "userId",
    "username",
    F.inline(F.col("transactions.details"))
    # 需保留其他transactions属性直接追加到此处即可
)

display(df_result)

• 如果你需要保留没有有效交易明细（transactions.details为空数组/NULL）的用户记录，将上述代码里的explode替换为explode_outer、inline替换为inline_outer即可，不会丢失无交易的用户数据。
• 该方案仅做一次数组展开计算，没有额外的数据膨胀，即使是大规模数据集也能稳定运行，不会出现原有写法长时间跑不出结果的问题。

内容的提问来源于stack exchange，提问作者CzarSvk