如何在AWS Glue的Spark DataFrame中不使用explode展开GA的Struct字段？

1. 使用Spark SQL的UNNEST语法（与BigQuery语法对齐） #

Spark 2.4及以上版本原生支持UNNEST，写法和你提供的BigQuery语句几乎一致，性能比多次链式调用explode更优，尤其适合处理多数组字段的笛卡尔积场景。

实现代码 #

先将源DataFrame注册为临时视图，再执行SQL查询：

# 假设df是你的源数据DataFrame
df.createOrReplaceTempView("your_table")

result_df = spark.sql("""
    SELECT
        visitNumber,
        visitId,
        fullVisitorId,
        hits.screenname,
        dim.value
    FROM
        your_table,
        UNNEST(hits) AS hits,
        UNNEST(customDimensions) AS dim
    LIMIT 10
""")

2. 使用DataFrame API的inline函数（针对结构体数组） #

如果hits是结构体类型的数组，inline函数可以直接将数组内的结构体展开为行和列，避免多次explode带来的性能损耗。结合crossJoin可实现多数组的笛卡尔展开：

from pyspark.sql.functions import inline, explode

# 第一步：展开hits数组，直接解析结构体字段
hits_expanded = df.select(
    "visitNumber", "visitId", "fullVisitorId", inline("hits")
)

# 第二步：展开customDimensions数组，与上一步结果做笛卡尔关联
final_df = hits_expanded.crossJoin(explode(hits_expanded["customDimensions"]).alias("dim")) \
    .select(
        "visitNumber", "visitId", "fullVisitorId", "screenname", "dim.value"
    ) \
    .limit(10)

额外性能优化建议 #

• 提前过滤无效数据：展开数组前先筛掉空数组或无意义的行，减少后续处理量

  from pyspark.sql.functions import size
  filtered_df = df.filter(
      df.hits.isNotNull() & (size(df.hits) > 0) & 
      df.customDimensions.isNotNull() & (size(df.customDimensions) > 0)
  )
  

• 调整Spark分区：根据数据量设置合理的分区数，AWS Glue中可通过glueContext.getConf().set("spark.sql.shuffle.partitions", "200")调整
• 只保留必要字段：查询时仅选择业务需要的列，减少数据传输和处理开销

内容的提问来源于stack exchange，提问作者Julio Carlos