Pyspark schema如何检查nullability？如何精准比对两个schema的字段差异？

核心结论 #

该需求完全可以实现，PySpark的StructField原生提供nullable属性可以直接获取用于校验，你只需要在原有判断逻辑中补充该属性的比对即可。

现有代码可优化点 #

• 缺失字段可空性（nullable）的校验逻辑
• 直接用zip遍历两个schema，如果两个schema的字段总数不一致，会默认截断到较短schema的长度，漏掉后半部分字段的不匹配校验

改进后的比对代码 #

def assert_schemas_equal(schema1, schema2):
    mismatches_counter = 0
    # 先校验字段总数是否一致
    if len(schema1) != len(schema2):
        print(f"Mismatch! 两个schema字段总数不一致，schema1:{len(schema1)}个，schema2:{len(schema2)}个")
        return False
    for field1, field2 in zip(schema1, schema2):
        # 补充nullable属性比对
        if field1.name != field2.name:
            print(f"Mismatch! 字段名不匹配：schema1字段{field1.name}，schema2字段{field2.name}")
            mismatches_counter +=1
        elif field1.dataType != field2.dataType:
            print(f"Mismatch! 字段{field1.name}数据类型不匹配：schema1类型{field1.dataType}，schema2类型{field2.dataType}")
            mismatches_counter +=1
        elif field1.nullable != field2.nullable:
            print(f"Mismatch! 字段{field1.name}可空性不匹配：schema1可空{field1.nullable}，schema2可空{field2.nullable}")
            mismatches_counter +=1
    return mismatches_counter == 0

补充说明 #

如果你的schema存在嵌套结构（比如字段类型是StructType），可以把上面的逻辑改成递归遍历，就能实现嵌套层级的schema全属性比对。

内容的提问来源于stack exchange，提问作者Grevioos