跨数据源导入DBFS后，嵌套结构Spark数据EDA实现咨询

针对你的嵌套结构DataFrame，核心是按需展开数组和结构体字段，以下是对应你表结构的具体处理方法：

1. 单层数组嵌套结构体（Field2、Field3）处理 #

Field2和Field3是数组包裹结构体，先通过explode展开数组，再提取结构体子字段即可分析：

import pyspark.sql.functions as F

# 处理Field2示例：展开数组并提取子字段
# 第一步：展开Field2数组，每个数组元素转为单独行
df_field2_expanded = df.select(F.explode('Field2').alias('field2_item'))
# 第二步：提取结构体中的子字段
df_field2_flat = df_field2_expanded.select(
    'field2_item.field2.1',
    'field2_item.field2.2'
)

# 执行EDA操作，比如统计field2.1的出现频次
df_field2_flat.groupBy('field2.1').count().orderBy(F.desc('count')).show()

# 处理Field3的逻辑完全一致，替换字段名即可
df_field3_expanded = df.select(F.explode('Field3').alias('field3_item'))
df_field3_flat = df_field3_expanded.select(
    'field3_item.field3.1',
    'field3_item.field3.2'
)

2. 多层嵌套（Field4：数组→结构体→数组）处理 #

Field4包含两层嵌套，分两次展开即可（按需选择是否展开内层数组）：

# 处理Field4示例：展开外层数组+内层数组
# 第一步：展开Field4的外层数组
df_field4_outer = df.select(F.explode('Field4').alias('field4_item'))
# 第二步：展开内层的field4.2数组，同时保留field4.1
df_field4_flat = df_field4_outer.select(
    'field4_item.field4.1',
    F.explode('field4_item.field4.2').alias('field4.2_element')
)

# 执行EDA，比如统计每个field4.1对应的元素分布
df_field4_flat.groupBy('field4.1', 'field4.2_element').count().show()

3. 保留原始非嵌套字段的联合分析 #

如果需要结合Field1这类顶层字段做关联分析，展开时保留原始字段即可：

# 保留Field1，同时展开Field2进行联合分析
df_combined = df.select(
    'Field1',
    F.explode('Field2').alias('field2_item')
).select(
    'Field1',
    'field2_item.field2.1',
    'field2_item.field2.2'
)

# 按Field1分组，统计每个分组下field2.1的分布
df_combined.groupBy('Field1', 'field2.1').count().show()

关键提示 #

• 你之前的代码无效是因为用了占位符field，需要替换为实际数组字段名（如Field2）。
• 80GB数据量较大，建议按需展开特定字段，避免一次性展开所有嵌套结构引发性能问题。
• 展开后的数据可直接用Spark统计函数（如countDistinct、avg）或对接可视化工具完成EDA。

内容的提问来源于stack exchange，提问作者random23