从Avro转Delta时，Spark如何获取嵌套StructType列类型？

问题背景 #

从S3读取Avro文件并写入Delta文件时，数据模式包含多层嵌套Struct：

|--test: struct
   |--test2: struct
      |--test3: struct

执行print(df.schema['test'].dataType)可正常获取类型，但使用df.schema['test.test2'].dataType会报错：

'No StructField named test.test2'

由于Spark可能将空Struct列推断为StringType，需要验证嵌套字段的类型是StructType还是StringType，疑问如下：

• 是否可以不通过迭代直接获取嵌套Struct的类型？
• 若必须迭代，最佳实现方式是什么？

解决方案 #

1. 无需迭代的直接获取方式 #

Spark的DataFrame.schema不支持.分隔的嵌套路径直接访问，但可以通过以下两种方式直接获取：

方式一：通过select提取字段后获取类型

# 获取test.test2的字段类型
nested_type = df.select("test.test2").schema[0].dataType
print(nested_type)

这种方式利用Spark的列选择语法直接定位嵌套字段，再从返回的单字段Schema中提取类型，简单可靠。

方式二：通过Column对象直接获取类型

from pyspark.sql import functions as F

# 直接获取嵌套字段的类型
nested_type = F.col("test.test2").dataType
print(nested_type)

F.col()支持.路径访问嵌套字段，其dataType属性可直接返回对应字段的类型。

2. 迭代/递归方式（适用于批量或复杂嵌套场景） #

如果需要批量处理多个嵌套路径，或需要遍历整个Schema结构，最佳方式是递归遍历StructType：

from pyspark.sql.types import StructType

def get_nested_field_type(schema: StructType, field_path: str):
    path_parts = field_path.split(".")
    current_type = schema
    for part in path_parts:
        if not isinstance(current_type, StructType):
            # 路径中某一级不是Struct（比如被推断为StringType），直接返回当前类型
            return current_type
        # 查找当前Struct下的目标字段
        current_type = next(f.dataType for f in current_type.fields if f.name == part)
    return current_type

# 使用示例
test2_type = get_nested_field_type(df.schema, "test.test2")
print(test2_type)

该函数会按路径逐级解析，若中途遇到非Struct类型（如StringType），会立即返回该类型，完美适配空Struct被误推断的验证需求。

内容的提问来源于stack exchange，提问作者OdiumPura