PySpark explode嵌套JSON后筛选en_GB locale单条记录问题

• 首次代码逻辑偏差：直接使用数组包含判断（如array_contains）做过滤，只会保留整行数组中存在en_GB值的记录，不会将数组内的元素拆解为独立行，因此无法得到单条en_GB对应的扁平化结果。
• 二次运行报AttributeError: 'DataFrame' object has no attribute 'd'属于语法笔误：通常是链式调用代码时断行未加续行符、方法名拼写错误（如把DataFrame变量名df简写漏写为d、漏写.withColumn/.select等方法前缀），触发Python属性解析失败，和explode操作本身的逻辑无关。
• 额外逻辑隐患：分步单独explodeoptionId、label字段会触发多数组explode的笛卡尔积问题，导致不同语言的optionId和label错位匹配，结果完全不可用。

不要分步单独explode多个关联数组，先将同序对齐的locale/optionId/label打包为结构体数组后单次explode，从根源避免元素错位，再做筛选和扁平化即可，参考代码如下：

from pyspark.sql import functions as F

# 替换为你自己的初始DataFrame变量名
source_df =  # 这里是你已经做完第一层explode后的DataFrame

result_df = source_df \
    # 将三个同长度、顺序对齐的数组合并为结构体数组，保证字段值一一对应
    .withColumn("locale_struct", F.arrays_zip("locale", "optionId", "label")) \
    # 单次explode结构体数组，避免多explode产生笛卡尔积
    .withColumn("locale_struct", F.explode("locale_struct")) \
    # 精准筛选en_GB对应的记录
    .filter(F.col("locale_struct.locale") == "en_GB") \
    # 提取结构体字段为扁平列，*代表保留原有非数组字段，可按需删减
    .select(
        "*",
        F.col("locale_struct.optionId").alias("optionId"),
        F.col("locale_struct.label").alias("label")
    ) \
    # 清理临时字段和原始数组字段
    .drop("locale_struct", "locale")

注意：如果三个关联数组的长度不一致，arrays_zip会自动按最短数组长度做截断，不会出现元素错配，稳定性远高于分步explode的写法。

内容的提问来源于stack exchange，提问作者Lynchie