Spark如何按数组索引拆分结构体数组DataFrame并避免重复？

问题分析 #

你之前出现重复数据，是因为错误地将polls数组中的key和variable_values字段分开做了explode操作，导致两者产生笛卡尔积，每个key都和所有rating值做了组合。正确的思路应该是先保留key与对应variable_values的关联关系，再提取有效rating值。

实现步骤（以PySpark为例） #

1. 炸开整个polls数组：每个数组元素是包含key和对应variable_values的结构体，这一步能保证key和它的rating集合始终绑定，不会错位。
2. 提取有效rating值：从variable_values的五个Rating字段中过滤掉空值，每个结构体只会留下一个非空的rating值。

完整代码 #

from pyspark.sql import functions as F

# 假设原始DataFrame名为df
# 第一步：炸开polls数组，得到每个key对应的完整结构体
df_exploded = df.withColumn("poll_item", F.explode(F.col("polls")))

# 第二步：提取key，过滤出variable_values中的非空rating值
df_result = df_exploded.select(
    "name",
    "location",
    F.col("poll_item.key").alias("polls_key"),
    # 将五个Rating字段转为数组，移除空值后炸开（每个结构体只会有一个非空值）
    F.explode(
        F.array_remove(
            F.array(
                F.col("poll_item.variable_values.RatingOne"),
                F.col("poll_item.variable_values.RatingTwo"),
                F.col("poll_item.variable_values.RatingThree"),
                F.col("poll_item.variable_values.RatingFour"),
                F.col("poll_item.variable_values.RatingFive")
            ),
            None
        )
    ).alias("polls_rating")
)

# 查看结果
df_result.show()

代码说明 #

• F.explode(F.col("polls"))：将polls数组中的每个结构体元素单独拆成一行，确保key和对应的variable_values始终一一对应。
• F.array(...)：把五个Rating字段打包成数组，F.array_remove(..., None)过滤掉所有空值，此时每个数组只会剩下一个有效rating值。
• 最后再炸开这个过滤后的数组，就得到了每个key对应的唯一rating值，不会产生重复。

另一种实现方式（使用stack函数） #

如果Rating字段较多，用stack函数更简洁：

df_result = df_exploded.select(
    "name",
    "location",
    F.col("poll_item.key").alias("polls_key"),
    # 用stack将五个字段转为键值对，过滤空值
    F.expr("stack(5, 'RatingOne', variable_values.RatingOne, 'RatingTwo', variable_values.RatingTwo, 'RatingThree', variable_values.RatingThree, 'RatingFour', variable_values.RatingFour, 'RatingFive', variable_values.RatingFive) as (rating_name, polls_rating)")
).filter(F.col("polls_rating").isNotNull()).drop("rating_name")

内容的提问来源于stack exchange，提问作者Luis