Databricks读取Azure Data Lake XML时移除空嵌套对象求助

问题背景 #

使用Databricks（集群版本：12.2 LTS，含Apache Spark 3.3.2、Scala 2.12）读取Azure Data Lake中的XML文件，已成功加载为DataFrame，但因嵌套XML对象为空，结果中出现大量null值。尝试调整com.databricks.spark.xml的读取参数（如treatEmptyValuesAsNulls、nullValue等）无效，需要移除所有为空的XML父对象及子对象。

核心原因 #

你之前尝试的读取参数仅用于控制XML中空值与Spark null的映射逻辑，无法自动过滤全为null的嵌套结构或空父对象。这类空对象在读取后会以null的Struct/Array形式存在，需要在DataFrame加载完成后进行针对性清洗。

解决方案 #

步骤1：过滤整行全为Null的记录 #

先移除所有字段都为null的无效行：

from pyspark.sql.functions import expr

# 生成所有字段为null的判断表达式，过滤掉这类行
df_filtered = df.filter(~expr(" AND ".join([f"{col} IS NULL" for col in df.columns])))

步骤2：递归清理嵌套空对象 #

针对嵌套的Struct/Array类型字段，移除其中全为null的子对象或空元素。以下是通用的递归清洗函数：

from pyspark.sql.types import StructType, ArrayType
from pyspark.sql.functions import col, when, expr

def clean_nested_data(df):
    for col_name, col_type in df.dtypes:
        # 处理嵌套Struct字段
        if col_type.startswith("struct"):
            struct_fields = df.schema[col_name].dataType.names
            # 判断该Struct下所有字段是否全为null
            all_null_expr = " AND ".join([f"{col_name}.{f} IS NULL" for f in struct_fields])
            # 将全null的Struct置为None，后续可进一步移除或保留
            df = df.withColumn(col_name, when(expr(f"NOT ({all_null_expr})"), col(col_name)).otherwise(None))
            # 递归处理Struct内部的子字段
            df = df.withColumn(col_name, expr(f"struct({', '.join([f'{col_name}.{f}' for f in struct_fields])})"))
            df = clean_nested_data(df.selectExpr("*", f"{col_name}.*").drop(col_name))
        # 处理嵌套Array字段（元素为Struct）
        elif col_type.startswith("array"):
            element_type = df.schema[col_name].dataType.elementType
            if isinstance(element_type, StructType):
                struct_fields = element_type.names
                # 过滤数组中全为null的Struct元素
                filter_expr = " AND ".join([f"x.{f} IS NULL" for f in struct_fields])
                df = df.withColumn(col_name, expr(f"filter({col_name}, x -> NOT ({filter_expr}))"))
                # 递归处理数组内的Struct元素
                df = clean_nested_data(df)
    return df

# 得到最终清洗后的DataFrame
final_df = clean_nested_data(df_filtered)

补充：移除全Null列 #

如果需要直接移除所有值都是null的列，可在清洗后添加以下逻辑：

# 获取非全null的列
non_null_cols = [col for col in final_df.columns if final_df.filter(col(col).isNotNull()).count() > 0]
final_df = final_df.select(non_null_cols)

内容的提问来源于stack exchange，提问作者hkay