PySpark如何判断Schema中的数组是字符串数组还是结构体数组

PySpark 的 ArrayType 内置了 elementType 属性，可直接获取数组存储的元素类型，你只需在确认列是数组类型后，对该属性做类型判断即可。

具体实现步骤 #

1. 先引入需要用到的类型类：

from pyspark.sql.types import ArrayType, StringType, StructType

2. 封装通用判断函数，适配动态Schema场景：

def check_array_element_type(df, col_name):
    col_data_type = df.schema[col_name].dataType
    # 先判断是否为数组类型
    if not isinstance(col_data_type, ArrayType):
        return "非数组类型"
    # 获取数组元素类型
    element_type = col_data_type.elementType
    if isinstance(element_type, StringType):
        return "字符串数组"
    elif isinstance(element_type, StructType):
        return "结构体数组"
    else:
        return f"其他类型数组，元素类型为：{element_type.simpleString()}"

测试效果（对应你给出的示例Schema） #

print(check_array_element_type(df, "array_column")) 
# 输出：结构体数组

print(check_array_element_type(df, "label_info")) 
# 输出：字符串数组

print(check_array_element_type(df, "extras")) 
# 输出：非数组类型

如果你需要进一步判断结构体内部的字段结构，可以遍历 StructType 的 fields 属性获取每个字段的名称和对应类型。

内容的提问来源于stack exchange，提问作者yahoo