如何在PySpark中移除Struct类型字段中的NULL值？

当然有办法处理这个需求！不过得先明确一个关键点：Spark的Struct类型是静态强类型的，一旦定义好Schema就没法动态删除字段（比如某一行里这个字段是NULL就删掉，另一行保留），所以我们分两种场景给你解决方案：

场景1：允许将Struct转为Map（推荐，灵活处理动态非NULL字段） #

如果你的业务逻辑可以接受用Map类型存储清理后的数据，这是最简洁高效的方法：我们先把Struct转成键值对Map，再过滤掉值为NULL的条目。

代码示例：

import org.apache.spark.sql.functions._

// 你的原代码
val temp_df_struct = df.withColumn(
  "VIN_COUNTRY_CD",
  struct(
    'BXSR_VEHICLE_1_VIN_COUNTRY_CD,
    'BXSR_VEHICLE_2_VIN_COUNTRY_CD,
    'BXSR_VEHICLE_3_VIN_COUNTRY_CD,
    'BXSR_VEHICLE_4_VIN_COUNTRY_CD,
    'BXSR_VEHICLE_5_VIN_COUNTRY_CD
  )
)

// 清理Struct中的NULL值：转Map后过滤
val cleaned_df = temp_df_struct.withColumn(
  "VIN_COUNTRY_CD_CLEANED",
  map_filter(
    to_map('VIN_COUNTRY_CD),  // 将Struct转为(key=字段名, value=字段值)的Map
    (key, value) => value.isNotNull  // 只保留值不为NULL的键值对
  )
)

这样得到的VIN_COUNTRY_CD_CLEANED列就是只包含非NULL值的Map，每行的键值对会根据原Struct的NULL情况动态调整。

场景2：必须保留Struct类型（仅适用于全局统一保留非NULL字段） #

如果一定要用Struct类型，那只能做到全局统一保留所有非NULL字段（因为DataFrame的Schema是全局一致的，没法每行Struct结构不一样）。比如你提前知道某些字段永远不会为NULL，就只保留这些字段；或者把NULL值替换成默认值，而不是删除字段。

如果要动态生成只包含全局非NULL字段的Struct，可以这样做：

// 获取原Struct的所有字段名
val structFieldNames = temp_df_struct.select("VIN_COUNTRY_CD.*").columns

// 先统计每个字段的NULL数量，筛选出全局非NULL的字段
val nonNullGlobalFields = structFieldNames.filter { field =>
  temp_df_struct.filter(col(s"VIN_COUNTRY_CD.$field").isNull).count() == 0
}

// 生成新的Struct列，只保留全局非NULL的字段
val cleaned_struct_df = temp_df_struct.withColumn(
  "VIN_COUNTRY_CD_CLEANED",
  struct(nonNullGlobalFields.map(col(s"VIN_COUNTRY_CD.$_")): _*)
)

不过这种方法有明显局限性：如果某字段在部分行是NULL、部分行非NULL，那还是会被保留，值为NULL的行对应字段依然是NULL——这是Struct类型的特性决定的，没法做到每行删除不同的NULL字段。

总结一下：如果需要每行动态移除不同的NULL字段，优先用转Map的方法；如果必须用Struct，只能接受全局固定结构的清理方式。

内容的提问来源于stack exchange，提问作者user2558420