如何在PySpark中提取嵌套结构体字段并完成条件过滤

之前的代码存在三个核心错误，无法得到预期结果：

• 多层嵌套数组未展开就直接过滤：clicks、clicks.item均为数组类型，直接访问df.clicks.item.itembrand无法正确匹配值，还可能触发类型报错。
• 两次独立调用explode展开不同层级数组，会生成无意义笛卡尔积，导致eventaction和对应商品属性行错位，数据关联关系完全错乱。
• 未实现日期范围过滤逻辑，且字符串类型日期直接比较会按字典序判断，会出现范围匹配错误。

按从外到内的层级依次展开嵌套数组，再统一做过滤、字段选择，日期字段先转为标准日期类型再做范围判断，避免比较逻辑出错：

from pyspark.sql.functions import explode, col, to_date

result = (
    df
    # 先展开外层clicks数组
    .withColumn("click", explode("clicks"))
    # 再展开clicks下嵌套的item数组
    .withColumn("click_item", explode("click.item"))
    # 过滤符合条件的记录
    .filter(
        (to_date(col("date")) >= "2000-03-05")
        & (to_date(col("date")) <= "2009-04-09")
        & (col("click_item.itembrand") == "Stihl")
    )
    # 选择需要返回的字段
    .select(
        "date",
        col("click.eventinfo.eventaction").alias("eventaction")
    )
    # 如果存在重复记录需要去重可开启下面这行
    # .distinct()
)

• 如果你的date字段存储格式不是默认的yyyy-MM-dd，需要在to_date方法里传入对应格式参数，比如to_date(col("date"), "yyyy/MM/dd")，保证日期转换正确。
• 必须严格按照数组嵌套层级从外到内展开，才能保证同一次点击事件的eventaction和对应商品属性正确绑定，不会出现数据错位。

内容的提问来源于stack exchange，提问作者enas dyo